Transformer 中每个词通过 Q/K/V 矩阵 计算与其他词的相关性。 不同的「注意力头」捕捉不同类型的语言模式——主谓关系、修饰关系、远程依存…… 下面通过真实例子来感受这个过程。
选择示例句子：
点选 Query token（锁定该行注意力流；再点取消）：
切换注意力头（每个头捕捉不同语言模式）：
主语「猫」高度关注动词「坐」，捕捉主谓依存关系
悬停格子查看权重 · 点选 Query 可锁定整行 · 颜色越亮 = 权重越高
多头张量形状
(B=1, T=5, C=192) — 各头在最后一维拼接
前向里投影输出常保持 fused 布局，便于线性层一次算完。
# 投影后（示意） x: (B, T, C) → qkv = Linear(x)
「我想关注什么？」每个词生成一个查询向量，表达自己的检索意图
「我能提供什么？」每个词生成一个键向量，描述自己的语义内容
「我实际携带的信息」加权求和后形成新的词表示
→ 阅读第 3 章《Transformer 架构深度解析》，了解多头注意力和位置编码的完整原理
→ 现实中的大模型（如 GPT-4）有 96 层、96 个注意力头，每个头学到的模式远比这里复杂
→ Flash Attention 通过分块计算显著降低内存消耗，是当前推理优化的核心技术