ƒ 交互式可视化

激活函数与梯度消失

激活函数赋予神经网络非线性建模能力。选择不当会导致梯度消失， 使深层网络无法训练。开启「显示导数」，观察各激活函数在饱和区的梯度衰减现象。

激活函数 f(x)

-4-2024-11
Sigmoid
将输入压缩到 (0,1)，早期常用⚠ 梯度饱和：|x|>3 时梯度趋近 0，导致梯度消失
ReLU
计算简单，正区间梯度恒为 1，训练快⚠ Dead Neuron：负区间梯度为 0，神经元可能永久失活
GELU
GPT/BERT 默认激活函数，平滑 ReLU，负区间有非零输出⚠ 计算略复杂

延伸学习

→ 阅读第 2 章《深度学习核心原理》，了解批归一化（BatchNorm）和残差连接如何配合激活函数缓解梯度问题

→ Swish / SiLU：Google 提出的平滑激活函数，兼具 ReLU 的稀疏性和 GELU 的平滑性

→ GLU 门控线性单元：LLaMA/Mistral 中使用 SwiGLU，成为现代大模型 FFN 层的主流激活