⟳ 交互式可视化

反向传播梯度流动

反向传播是深度学习的核心算法。它利用链式法则从损失函数出发, 逐层向后计算每个权重的梯度,再通过梯度下降更新参数。 点击下方步骤,逐步观察一次完整的参数更新过程。

点击步骤逐步了解反向传播:

悬停连接或神经元查看数值 · 颜色含义:红 = 正梯度(权重需减小)蓝 = 负梯度(权重需增大)

x₁x₂h₁h₂h₃ŷ输入层隐藏层输出层

反向传播(Backpropagation)

神经网络通过反向传播计算每个权重的梯度,然后用梯度下降更新权重来最小化损失函数。

上方展示了一个简单 3 层网络:2 个输入 → 3 个隐藏神经元 → 1 个输出。

点击「下一步」逐步观察前向传播 → 计算损失 → 反向传播梯度 → 更新权重的完整过程。

1 / 6

延伸学习

→ 阅读第 2 章《深度学习核心原理》,了解激活函数、梯度消失与批归一化的完整原理

→ 梯度消失问题:网络层数增多时,靠近输入层的梯度趋近于零,导致参数几乎不更新——ReLU 和残差连接是主要解决方案

→ Adam 优化器在基础梯度下降之上引入动量和自适应学习率,是目前最常用的优化器