Transformer 是一种基于自注意力机制的深度学习模型架构，由 Google 在 2017 年的论文《Attention Is All You Need》中提出，它彻底改变了自然语言处理（NLP）乃至计算机视觉（CV）等领域的模型设计范式，替代了此前主流的循环神经网络（RNN）、长短期记忆网络（LSTM）等序列建模结构。
一、核心特点
- 抛弃循环结构，实现并行计算 传统的 RNN/LSTM 是按序列顺序逐个处理输入（如文本的每个词），无法并行化，处理长序列时效率极低。而 Transformer 完全基于注意力机制和全连接层，可一次性处理整个输入序列，大幅提升了训练和推理的速度，也能支持更长的输入长度。
- 自注意力机制（Self-Attention） 这是 Transformer 的核心组件，能让模型在处理每个输入元素（如单词）时，同时关注序列中所有其他元素的信息，从而捕捉长距离依赖关系。
- 自注意力通过计算查询（Query）、键（Key）、值（Value）三个向量的相似度，为每个元素分配不同的注意力权重，最终聚合出融合全局信息的表征。
- 为提升效率，实际中常用多头注意力（Multi-Head Attention），即并行执行多个独立的自注意力计算，再将结果拼接，让模型能同时捕捉不同维度的语义关联。
- 位置编码（Positional Encoding） 由于 Transformer 没有循环结构，无法感知输入序列的顺序信息（如 “我吃苹果” 和 “苹果吃我” 的词序差异），因此需要通过位置编码为每个位置的元素添加位置信息，使其融入到模型的输入表征中。位置编码通常采用正弦 / 余弦函数或可学习的向量实现。
二、基本架构
Transformer 通常采用编码器 – 解码器（Encoder-Decoder）结构，适用于机器翻译等 seq2seq 任务；也可单独使用编码器（如 BERT）或解码器（如 GPT），适配不同场景：
- 编码器（Encoder）
- 由 N 个相同的编码器层堆叠而成，每层包含多头自注意力层和前馈神经网络（FFN），且两层都配有残差连接和层归一化。
- 作用是将输入序列转化为包含全局上下文信息的统一表征。
- 解码器（Decoder）
- 同样由 N 个解码器层堆叠，每层除了多头自注意力层和前馈神经网络，还多了一个编码器 – 解码器注意力层（用于关注编码器输出的源序列信息）。
- 同时，解码器的自注意力层会采用掩码（Mask）机制，防止模型在生成当前 token 时看到未来的 token，保证生成的顺序性。
三、典型应用
- 自然语言处理
- 预训练语言模型：BERT（编码器架构）、GPT（解码器架构）、T5（Encoder-Decoder 架构）等，是各类 NLP 任务（文本分类、问答、摘要、翻译）的基础。
- 机器翻译：最初的 Transformer 就用于解决翻译任务，性能远超传统 RNN 模型。
- 计算机视觉
- 基于 Transformer 提出的 Vision Transformer（ViT），将图像切分为固定大小的 “图像块”，类比文本中的单词，通过自注意力机制实现图像分类、目标检测等任务，打破了卷积神经网络（CNN）的垄断。
- 多模态任务
- 如图文生成、语音识别等，可通过 Transformer 融合不同模态的信息（如文本和图像的表征），实现跨模态的语义关联。
四、优势与局限
- 优势
- 并行计算效率高，训练速度快；
- 能有效捕捉长序列的依赖关系；
- 架构灵活，可适配多种任务。
- 局限
- 计算复杂度随序列长度平方增长，处理超长序列（如万字文本、高清图像）时资源消耗大；
- 对位置信息的建模依赖人工设计的位置编码，在复杂序列任务中可能存在局限性。