第二章：学习检验与答案

本文件包含第二章的经典面试/答辩问题及详细答案。

问题列表

1. 请解释反向传播算法的原理
2. 为什么神经网络需要激活函数？如果没有会怎样？
3. ReLU相比Sigmoid有哪些优势？ReLU有什么问题？
4. 什么是梯度消失和梯度爆炸？如何解决？
5. 请比较SGD、Momentum、Adam优化器的特点
6. 什么是BatchNorm？它为什么有效？
7. BatchNorm和LayerNorm有什么区别？各自适用什么场景？
8. Dropout是如何工作的？为什么能防止过拟合？
9. 请解释L1和L2正则化的区别
10. 为什么分类问题用交叉熵而不用MSE？
11. ResNet的残差连接是如何解决梯度消失的？
12. LSTM是如何解决RNN的长期依赖问题的？
13. 什么是过拟合？如何判断和解决？
14. 请推导Softmax配合交叉熵的梯度
15. Adam优化器的原理是什么？为什么它效果好？

详细答案

问题1：请解释反向传播算法的原理

参考答案：

定义：反向传播（Backpropagation）是利用链式法则，从输出层向输入层逐层计算损失函数对每个参数梯度的算法。

核心步骤：

1. 前向传播：输入数据通过网络，计算每层的输出，得到最终预测值和损失

2. 计算输出层梯度：∂L/∂ŷ

3. 反向传播梯度：利用链式法则，逐层计算

   ∂L/∂W⁽ˡ⁾ = ∂L/∂z⁽ˡ⁾ · ∂z⁽ˡ⁾/∂W⁽ˡ⁾
   ∂L/∂z⁽ˡ⁻¹⁾ = ∂L/∂z⁽ˡ⁾ · ∂z⁽ˡ⁾/∂a⁽ˡ⁻¹⁾ · ∂a⁽ˡ⁻¹⁾/∂z⁽ˡ⁻¹⁾
   

4. 更新参数：θ = θ - η·∇L

为什么高效：

• 每个中间梯度只计算一次，被多次复用
• 时间复杂度与前向传播相同，O(参数数量)

问题2：为什么神经网络需要激活函数？如果没有会怎样？

参考答案：

原因：激活函数引入非线性，使神经网络能够学习复杂的非线性函数。

如果没有激活函数：

第1层：z₁ = W₁x + b₁
第2层：z₂ = W₂z₁ + b₂ = W₂(W₁x + b₁) + b₂ = W₂W₁x + W₂b₁ + b₂

令 W' = W₂W₁, b' = W₂b₁ + b₂
则 z₂ = W'x + b'

结论：无论多少层，都等价于单层线性变换，无法逼近非线性函数。

举例：没有激活函数的网络无法学习XOR这样简单的非线性问题。

问题3：ReLU相比Sigmoid有哪些优势？ReLU有什么问题？

参考答案：

ReLU的优势：

ReLU的问题：

1. Dead ReLU：如果输入始终为负，神经元永远不激活，梯度为0，无法学习
2. 非零中心：输出恒为非负，可能影响下一层的梯度
3. 无界：输出可以非常大

解决方案：

• Leaky ReLU：f(x) = max(0.01x, x)
• PReLU：f(x) = max(αx, x)，α可学习
• ELU：x<0时使用指数函数

问题4：什么是梯度消失和梯度爆炸？如何解决？

参考答案：

梯度消失：

• 现象：深层网络中，靠近输入层的梯度趋近于0
• 原因：链式法则中多个小于1的数连乘（如Sigmoid导数<0.25）
• 后果：前面层几乎不更新，无法学习

梯度爆炸：

• 现象：梯度值变得非常大
• 原因：权重矩阵特征值>1时连乘爆炸
• 后果：参数剧烈震荡，loss变成NaN

解决方案：

问题5：请比较SGD、Momentum、Adam优化器的特点

参考答案：

详细对比：

SGD：

• 每次只用当前梯度，方向可能不稳定
• 对所有参数使用相同学习率

Momentum：

• 累积历史梯度方向，产生"惯性"
• 在平坦区域加速，在震荡区域稳定

Adam：

• 一阶矩m：类似Momentum，累积梯度方向
• 二阶矩v：自适应调整每个参数的学习率
• 偏差修正：解决初期估计不准的问题

使用建议：

• CV任务：SGD+Momentum（泛化好）
• NLP/大模型：AdamW（收敛稳定）
• 快速实验：Adam（省调参）

问题6：什么是BatchNorm？它为什么有效？

参考答案：

BatchNorm定义：对每个mini-batch内的数据，在特征维度上进行归一化。

计算过程：

1. 计算mini-batch均值：μ = (1/m)·Σxᵢ
2. 计算mini-batch方差：σ² = (1/m)·Σ(xᵢ - μ)²
3. 归一化：x̂ᵢ = (xᵢ - μ) / √(σ² + ε)
4. 缩放平移：yᵢ = γ·x̂ᵢ + β （γ、β可学习）

为什么有效（多种解释）：

1. 减少Internal Covariate Shift（原论文解释）

   • 保持每层输入分布稳定
   • 减少层与层之间的耦合

2. 平滑损失曲面（最新研究）

   • 使损失函数更平滑，优化更容易
   • 允许使用更大的学习率

3. 正则化效果

   • batch内的随机性引入噪声
   • 类似轻量级Dropout

推理时的处理：使用训练过程中累积的移动平均（running mean/var）

问题7：BatchNorm和LayerNorm有什么区别？各自适用什么场景？

参考答案：

归一化维度对比：

数据shape: [Batch, Sequence, Hidden]

BatchNorm: 在Batch维度归一化
  - 统计量：每个特征在batch内的均值方差

LayerNorm: 在Hidden维度归一化
  - 统计量：每个样本所有特征的均值方差

对比表格：

为什么Transformer用LayerNorm：

1. NLP中batch size通常较小
2. 序列长度变化大
3. 不希望样本之间相互影响

问题8：Dropout是如何工作的？为什么能防止过拟合？

参考答案：

工作机制：

训练时：

mask = np.random.binomial(1, p, size=h.shape)  # p为保留概率
h_dropout = h * mask / p  # Inverted Dropout

推理时：不使用Dropout，直接输出

为什么能防止过拟合：

1. 集成学习视角

   • 每次前向传播相当于一个不同的子网络
   • 最终模型是指数级子网络的集成

2. 减少神经元依赖

   • 每个神经元不能依赖特定的其他神经元
   • 被迫学习更鲁棒的特征

3. 噪声注入

   • 引入随机性，增加训练难度
   • 类似数据增强的效果

使用建议：

• 全连接层：0.5较常用
• 卷积层：不常用或使用较小概率
• 大模型：通常用0.1

问题9：请解释L1和L2正则化的区别

参考答案：

数学形式：

L1正则化（Lasso）：L_total = L_data + λ·Σ|wᵢ|
L2正则化（Ridge）：L_total = L_data + λ·Σwᵢ²

区别对比：

直观理解：

L1（菱形）：             L2（圆形）：
     /\                      ○
    /  \                   /   \
   /    \                 |     |
  /      \                 \   /
 /________\                  ○

等高线与菱形更容易在顶点相交    等高线与圆形更容易在非零处相交
→ 产生稀疏解                  → 产生非稀疏但较小的权重

使用场景：

• L1：需要特征选择、模型可解释时
• L2：大模型训练的标准选择（Weight Decay）

问题10：为什么分类问题用交叉熵而不用MSE？

参考答案：

原因1：梯度更合理

以二分类为例，假设使用Sigmoid输出：

MSE梯度：∂L/∂z = (ŷ - y) · σ'(z)
交叉熵梯度：∂L/∂z = ŷ - y

当预测错误但置信度高时（如y=1, ŷ≈0）：
- σ'(z) ≈ 0，MSE梯度很小，更新慢
- 交叉熵梯度 = -1，正常更新

原因2：信息论意义

交叉熵衡量两个概率分布的差异：

H(p, q) = -Σp(x)·log(q(x))

当预测分布q接近真实分布p时，交叉熵趋近于熵H(p)

原因3：与Softmax配合更好

Softmax + 交叉熵的梯度形式非常简洁：

∂L/∂zᵢ = ŷᵢ - yᵢ

问题11：ResNet的残差连接是如何解决梯度消失的？

参考答案：

残差连接结构：

x ─────────────────────┐
│                      │
↓                      │
F(x) [Conv→BN→ReLU→Conv→BN]    │
│                      │
↓                      │
    ──────────────→ + ←┘
              │
              ↓
            H(x) = F(x) + x

为什么解决梯度消失：

原来：H(x) = F(x)
梯度：∂H/∂x = ∂F/∂x    （可能很小）

残差：H(x) = F(x) + x
梯度：∂H/∂x = ∂F/∂x + 1  （至少为1）

关键洞察：

• 即使∂F/∂x趋近于0，梯度仍至少为1
• 梯度可以通过"高速公路"直接传回
• 允许训练非常深的网络（152层、1000+层）

另一个视角：恒等映射更容易学

如果某层最优解是恒等映射（不做任何变换）：

• 没有残差：需要学习W≈I，比较难
• 有残差：只需学习F(x)≈0，更容易

问题12：LSTM是如何解决RNN的长期依赖问题的？

参考答案：

RNN的问题：

hₜ = tanh(Wₓₕ·xₜ + Wₕₕ·hₜ₋₁)

梯度：∂hₜ/∂hₜ₋ₖ = Πᵢ (Wₕₕ · tanh'(...))

由于tanh'∈(0,1]和Wₕₕ的连乘，梯度指数衰减

LSTM的解决方案：

1. 细胞状态C（记忆单元）

   Cₜ = fₜ ⊙ Cₜ₋₁ + iₜ ⊙ C̃ₜ
   

   • 通过加法而非乘法更新
   • 梯度可以无损地流过很长的序列

2. 门控机制

   • 遗忘门fₜ：决定丢弃哪些旧信息
   • 输入门iₜ：决定存储哪些新信息
   • 输出门oₜ：决定输出哪些信息

梯度流动对比：

问题13：什么是过拟合？如何判断和解决？

参考答案：

定义：模型在训练集上表现很好，但在测试集/新数据上表现差。

判断方法：

• 训练loss持续下降，验证loss开始上升
• 训练准确率远高于验证准确率
• 模型对训练数据的小扰动很敏感

过拟合的原因：

1. 模型过于复杂（参数过多）
2. 训练数据太少
3. 训练时间过长
4. 特征噪声大

解决方案：

问题14：请推导Softmax配合交叉熵的梯度

参考答案：

Softmax：

ŷᵢ = exp(zᵢ) / Σⱼexp(zⱼ)

交叉熵：

L = -Σᵢ yᵢ·log(ŷᵢ)

推导∂L/∂zₖ：

首先求∂ŷᵢ/∂zₖ：

当i=k时：
∂ŷₖ/∂zₖ = ŷₖ(1 - ŷₖ)

当i≠k时：
∂ŷᵢ/∂zₖ = -ŷᵢ·ŷₖ

然后用链式法则：

∂L/∂zₖ = -Σᵢ yᵢ · (1/ŷᵢ) · ∂ŷᵢ/∂zₖ
       = -yₖ(1/ŷₖ)·ŷₖ(1-ŷₖ) - Σᵢ≠ₖ yᵢ·(1/ŷᵢ)·(-ŷᵢŷₖ)
       = -yₖ(1-ŷₖ) + Σᵢ≠ₖ yᵢ·ŷₖ
       = -yₖ + yₖŷₖ + ŷₖΣᵢ≠ₖ yᵢ
       = -yₖ + ŷₖ·Σᵢ yᵢ
       = -yₖ + ŷₖ·1     （因为Σyᵢ=1）
       = ŷₖ - yₖ

结论：∂L/∂z = ŷ - y（预测值减去真实值）

这个简洁的形式是Softmax+交叉熵组合流行的重要原因。

问题15：Adam优化器的原理是什么？为什么它效果好？

参考答案：

Adam = Adaptive Moment Estimation

算法步骤：

1. 计算梯度：g = ∇L(θ)

2. 更新一阶矩估计（动量）：
   m = β₁·m + (1-β₁)·g

3. 更新二阶矩估计（自适应学习率）：
   v = β₂·v + (1-β₂)·g²

4. 偏差修正：
   m̂ = m / (1-β₁ᵗ)
   v̂ = v / (1-β₂ᵗ)

5. 参数更新：
   θ = θ - η·m̂ / (√v̂ + ε)

默认超参数：β₁=0.9, β₂=0.999, ε=1e-8

为什么效果好：

1. 自适应学习率

   • 对每个参数单独调整学习率
   • 频繁更新的参数学习率小，稀疏参数学习率大

2. 动量加速

   • 一阶矩m累积梯度方向
   • 加速收敛，减少震荡

3. 偏差修正

   • 解决初始时m和v估计偏向0的问题
   • 使训练初期更稳定

4. 超参数鲁棒

   • 默认值在大多数任务上都工作良好
   • 减少调参工作量

Adam vs AdamW：

• Adam的L2正则化与自适应学习率耦合
• AdamW将weight decay解耦，效果更好
• 大模型训练首选AdamW

自测评分标准

面试技巧提示

1. 公式推导：反向传播、Softmax梯度是高频手推题，务必熟练
2. 对比分析：激活函数对比、优化器对比、归一化对比是常考点
3. 问题解决：梯度消失/爆炸的解决方案要全面
4. 实践经验：结合项目说明为什么选择某个优化器/正则化方法
5. 原理理解：不仅知道"是什么"，更要理解"为什么"

返回正文：第二章：深度学习核心原理

下一章：第三章：Transformer架构深度解析