Transformer：注意力机制革命
《Attention Is All You Need》论文发表，提出Transformer架构，彻底改变NLP领域。
事件概述
2017年，Google Brain团队的Ashish Vaswani等人发表了里程碑式论文《Attention Is All You Need》，提出了Transformer架构。Transformer完全基于注意力机制，抛弃了之前主流的循环神经网络(RNN)和卷积神经网络(CNN)结构。其核心的自注意力机制能够并行处理序列数据，大幅提升了训练效率。Transformer不仅改变了自然语言处理领域，也为后来GPT、BERT等大语言模型的诞生奠定了基础。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
2017 年前，序列建模主流是 RNN/LSTM/GRU，按时间步计算、难以并行，句越长训练越慢；Bahdanau 的注意力虽缓解长程依赖，仍依附循环。Google 八位研究者 2017 年 6 月提交《Attention Is All You Need》（NeurIPS 2017），提出完全抛弃循环与卷积、仅用注意力构建模型。标题致敬 Beatles 的《All You Need Is Love》，"Transformer" 由 Uszkoreit 命名，架构成为几乎所有现代大模型的基础。
核心要点
- 1完全基于注意力，摒弃循环与卷积，首次实现序列建模的真正并行训练。
- 2提出缩放点积注意力：Attention(Q,K,V)=softmax(QKᵀ/√d_k)V。
- 3多头注意力并行学习不同子空间的依赖，配合位置前馈网络。
- 4用正弦位置编码注入词序信息，残差连接与层归一化稳定深层训练。
- 5在 WMT'14 英德达到 28.4 BLEU、英法 41.8 BLEU，且训练成本远低于此前模型。
- 6八位作者均为平等贡献者，论文成为 21 世纪被引最多的论文之一。
原理与技术细节
Transformer 沿用编码器—解码器框架，但每层只由注意力与全连接组成。核心是自注意力：把输入映射为查询 Q、键 K、值 V 三组向量，用 Q 与所有 K 做点积衡量相关性，除以 √d_k 防止点积过大，softmax 后得到权重再对 V 加权求和——这样每个词都能直接"看到"序列中任意位置，长程依赖只需常数步。多头注意力把 Q/K/V 投影到多个子空间并行计算再拼接，让模型同时捕捉不同类型的关系。由于注意力本身不含顺序信息，Transformer 用正弦位置编码（或可学习编码）标注词序；每个子层外包裹残差连接与层归一化。解码器另加因果掩码，保证生成时只能看见已生成的词。
影响与后续
Transformer 的并行性让模型可以在 GPU 上高效扩展，直接催生了 BERT、GPT 系列等预训练大模型，也延伸到视觉（ViT）、语音、蛋白质结构预测等领域。其局限包括自注意力随序列长度呈平方复杂度、对数据量与算力高度依赖、位置编码对极长序列仍显吃力。但它确立了"注意力即一切"的范式，是当代生成式 AI 的地基。
学习要点
- 并行性来自"无循环"，注意力让任意两位置一步互联。
- 缩放点积与多头是通用且可复用的注意力实现细节。
- 顺序信息需显式注入（位置编码），模型本身不懂词序。
- 架构简洁即可支撑巨大规模，简洁往往优于堆砌。
术语表
序列内每个位置通过 Q/K/V 与其他所有位置计算权重，从而捕捉内部依赖。
将 Q/K/V 投影到多个子空间分别注意力后再拼接，捕捉多种关系。
以 QKᵀ 除以 √d_k 再做 softmax 得到权重、对 V 加权求和的注意力形式。