原文链接：AI 基础知识从 0.5 到 0.6—— Transformer 架构为何能统治AI领域？

AI 基础知识从 0.5 到 0.6—— Transformer 架构为何能统治AI领域？

seq2seq 任务

1. seq2seq 任务是指将一个输入序列数据转换为另一个输出序列数据，不需要两个序列具有相同的长度或结构，是 自然语言处理（NLP） 的核心；
   1. 序列数据是指有顺序的数据集合，比如一句话中的文字、一段语音信号等。
   2. 典型的 Seq2Seq 问题包括：
      1. 机器翻译：输入中文句子 "非常感谢"，输出英文句子 "Thank you very much"
      2. 文本摘要：输入一篇长文章，输出简短摘要
      3. 问答系统：输入一个问题，输出一个答案
      4. 聊天机器人：输入用户消息，输出回复消息
2. Seq2Seq 模型由两个主要组件组成：编码器（Encoder）和解码器（Decoder），其核心思想是“编码全局信息→解码逐步生成”；
   1. 编码器：负责处理输入序列，将其压缩成一个固定维度的上下文向量（context vector），该向量包含了输入序列的语义信息。
   2. 解码器：接收编码器产生的上下文向量，并基于此逐步生成目标序列。解码器通常是自回归（Autoregressive）的，即每一步的输出依赖于前面所有步骤的输出。
   3. 
3. 自回归是指模型在生成序列时候，每一步都依赖于之前已经生成的内容。
   1. 比如我们要生成一个序列： 自回归模型的目标是根据前面的词预测下一个词的概率分布： 因此自回归模型都是逐词生成、输出。

RNN 和 LSTM 的困境

在 Transformer 出现之前，Seq2Seq 编码器和解码器的实现主流方法是循环神经网络（RNN）和长短期记忆网络（LSTM）。

有记忆的序列处理 RNN

1. 循环神经网络（Recurrent Neural Network，RNN）是一种专门设计用于处理序列数据的神经网络结构。与传统的前馈神经网络不同，RNN 引入记忆的概念，能够"记住"之前的信息，并利用这些信息影响下一步的输出。

RNN 工作流程

1. RNN 在普通神经网络的基础上，引入了循环隐藏层（下图中间的圆），其核心特点是通过对序列数据进行逐步处理 。具体来说：
   1. 逐 token 处理：输入序列按时间步依次处理（如文本中的每个词），每个时间步的输入会与前一时刻的隐藏状态共同计算当前隐藏状态；
   2. 隐藏状态的记忆功能：隐藏层存储历史信息，每步的隐藏层不仅包含当前输入的特征，还整合了前一步的隐藏状态，形成对序列上下文的动态记忆；
   3. 输出生成：当前步的输出基于当前隐藏状态计算得出，因此输出结果既依赖于当前输入，也依赖于之前所有输入的历史信息；
   4. 

RNN 数学原理

1. RNN 中输出的计算依赖一个中间过程，称之为隐藏层，就是图中的 h
   1. RNN 中需要逐步计算输出，每一次输出的计算依赖上一步的输出。

在 seq2seq 中使用 RNN

1. 
   1. 在 seq2seq 架构中把 RNN 分别应用到编码器和解码器，如果是翻译任务
      1. 编码器是一个完整的 RNN 流程。
      2. 解码器同样是一个完整的 RNN 流程。
   2. 注意：编码器和解码器是两个独立的 RNN，单个 RNN 的输入输出过程并不是翻译的过程

RNN 的问题

1. RNN 几个严重问题：
   1. 梯度消失和梯度爆炸
      1. RNN 使用链式法则反向传播误差，每一步都乘以权重矩阵的导数，导致梯度随着序列长度迅速衰减或激增。
         1. 如果权重矩阵的特征值小于 1，梯度会指数级减小 → 梯度消失；
         2. 如果特征值大于 1，梯度会指数级增长 → 梯度爆炸；
   2. 长距离依赖丢失
      1. RNN 只能记住短期依赖（Short-term Memory），对长序列中的早期信息几乎“记不住”
   3. 训练效率低
      1. RNN 是顺序处理的，每个时间步必须等前一个完成才能进行下一步计算，这样训练速度慢，难以利用 GPU 的并行计算优势，不适合大规模数据训练和实时应用。

LSTM & GRU 的优化

1. 
2. LSTM（Long Short-Term Memory，长短时记忆）是 RNN 变体，专门设计用来解决传统 RNN 的长期依赖问题，LSTM 的核心是一个记忆单元（Cell State），通过精心设计的门控机制来控制信息的流动，这种设计使 LSTM 能够在长序列中保持重要信息，同时丢弃不相关信息，有效解决了梯度消失问题。
   1. 遗忘门：决定从细胞状态中丢弃哪些信息；
   2. 输入门：决定哪些新信息将被存储到细胞状态中；
   3. 输出门：决定基于细胞状态输出哪些信息；
3. GRU（Gated Recurrent Unit）是 LSTM 的简化版本，合并了 LSTM 的遗忘门和输入门为一个更新门，并引入了重置门，使结构更加简洁，与 LSTM 相比，GRU 参数更少，训练速度更快，在某些任务上表现相当甚至更好。GRU的两个门控机制：
   1. 更新门：决定保留多少前一状态的信息和添加多少当前信息；
   2. 重置门：决定如何将新输入与前一记忆结合；
4. 虽然 LSTM 和 GRU 在很大程度上缓解了 RNN 的梯度消失和短时记忆问题，但依然是串行处理模式，每一步的计算都依赖于上一步的结果，无法利用 GPU 的并行计算能力加速训练。而且在处理超长序列时，效率和性能仍然受限。

Transformer 工作流程

1. 2017 年 Google 的研究团队提出了一个大胆的想法：能否完全抛弃循环结构，让模型直接关注序列中任意两个位置之间的关系？这就是 Transformer 的核心创新——自注意力机制（Self-Attention）；
   1. 出自 Attention is all you need 论文的 Transformer 架构图
   2. 简化的图
2. Transformer 和经典 seq2seq 架构一样使用了 Encoder-Decoder 模式，编码器负责理解输入序列，解码器把编码器的输出作为上下文，自回归输出目标序列，同样是一次编码、多次解码生成。
   1. 编码器一次编码：
      1. 输入序列会被转换成对应的词嵌入表示，每个 token 会被映射到一个连续的向量。然后，需要通过添加位置编码来保留输入序列的先后顺序信息，这样模型就能区分 A B 和 B A 的不同含义。
      2. 输入序列的词嵌入矩阵被送入模型，通过自注意力机制生成 Query（Q）、Key（K）和 Value（V）三个矩阵，这些矩阵是输入序列中各个 token 的特征表示。
         1. Q 矩阵负责提出问题（查询），K 矩阵负责提供信息（匹配），V 矩阵包含实际内容。自注意力机制会计算每个 token 对其他 token 的重要性，也就是注意力权重（Attention Weights），用这些权重对 V 矩阵进行加权求和，生成包含输入序列中每个 token 语义的上下文表示。
         2. 因为只编码一次，编码器生成的语义矩阵在结果过程中不再变化（KV 也不会变化）。
   2. 解码器逐 token 解码：
      1. 解码器会对历史生成的目标序列进行嵌入映射，将历史生成结果转化为向量表示。为了保留生成序列的顺序信息，还需要加上位置编码。如果是首次解码（没有历史目标序列），则会使用特殊的起始标记 <SOS>。
      2. 经过嵌入和位置编码后，目标序列被送入掩码自注意力模块。掩码的作用是确保当前时间步只能看到已生成的历史序列，而不能访问未来的 token，严格遵守自回归生成的规则。
      3. 掩码自注意力会生成一组新的上下文表示矩阵，描述了解码器目前所有生成序列的内部关系，并作为对目标序列的特征提取结果。
      4. 解码器进一步通过跨注意力模块，与编码器生成的语义矩阵关联以获取来自输入序列的上下文信息；
         1. 解码器使用掩码自注意力的结果，生成用于与编码器交互的查询表示（Query）。这个 Query 表示当前生成序列的需求或问题。
         2. 编码器的语义矩阵则通过固定的变换生成 Key（键）和 Value（值），表示输入序列中的全局信息。
         3. 解码器的 Query 会从编码器输出的 Key 中查询相关的信息，同时结合 Value 形成新的跨序列上下文信息。因为信息来自不同序列，这个操作被称为跨注意力。
      5. 跨注意力模块的输出被进一步处理，生成解码器最终的语义矩阵，这个矩阵用于预测当前时间步目标 token 的分布，通过采样或搜索方法解码器生成下一个单词。
      6. 最后，生成的新 token 会添加到历史生成序列中，更新为解码器的输入序列。解码器重复以上步骤，直到遇到特殊结束标记 <EOS>，整个目标序列生成完成。

Transformer 实现

Embeding 与位置编码

1. Transformer 架构本身不包含序列位置信息，因为自注意力机制对输入序列的顺序是不敏感的，这在很多时候会导致歧义；
   1. 为了让模型能够利用序列的顺序信息，Transformer 引入了位置编码。位置编码通过为每个位置生成唯一的编码，并与词嵌入（Word Embedding）结合，使模型能够区分相同 token 在不同位置的语义差异。

什么是注意力

1. 注意力机制的本质：在理解当前词时，关注与其相关的其他词；
   1. 想象你在阅读这样一个句子："那只猫坐在垫子上，它看起来很舒服"，当你读到"它"时，你的大脑会自动回到前面找到"它"指代的对象——"猫"，这种能力就是注意力机制的本质；
   2. 最早由 Bahdanau 等人于2014年提出，用于解决 RNN 在编码器-解码器架构中的长期依赖问题；但传统注意力机制通过逐步传递信息，但受限于距离和计算效率，难以有效捕捉远距离关联；
2. Transformer 摒弃了 RNN 和 CNN，提出了自注意力机制，对序列中的每个元素（token）与序列中所有其他元素之间的关系进行建模，用于捕获序列内元素之间的依赖关系。

   1. 换句话说，它让模型在处理某个 token 时，可以动态关注同一序列中其他对其有重要影响的 token；

   2. 

      有点像是句子中的每个 token 是一个神经元节点，重复一遍形成两层，中间做了全连接，连线就是两个token 之间的影响。

注意力的实现 QKV

1. 自注意力机制使模型能够关注输入序列 token 之间的相关性，从而使其能够捕捉数据中的复杂关系和依赖。现在我们知道了什么是注意力，但具体是怎么计算的呢？这就要引入 Transformer 的核心创新：QKV 机制。
   1. 上文中的嵌入矩阵 H 通过和权重矩阵（图片）线性变换得到三个矩阵：Query (Q)、Key (K)、Value (V)
   2. QKV 有什么作用？
      1. Query：是每个 token 提出的“问题”向量，比如一个单词想知道序列中其他单词对其影响。
      2. Key：是每个单词的“标签”向量，告诉其他位置，它和哪些 token 是相关的。
      3. Value：是每个单词的语义内容，它是最终被注意力加权取回的信息。
   3. 想象一下在一个图书馆找一本书：
      1. 你要找一本书，你的问题是 Query：你会问图书管理员一个关于书的信息，比如：“哪一本书讲关于人工智能的基础知识？”
      2. 图书馆的目录卡片是 Key：图书馆里每本书会有一个目录卡片（对应于 Key），这张卡片告诉你这本书包含什么内容。
      3. 图书内容是 Value：图书的 Key 告诉你是它关于什么的，而书的内容 Value 是它实际含有的信息。
   4. 注意力的匹配过程：
      1. 你的问题 (Query) 会与所有书的目录卡片 (Key) 匹配（通过点积计算相关性）。
      2. 找到最符合你问题的 Key，图书管理员会把相应的图书 (Value) 借给你。

从 QKV 到语义表示

1. QKV 矩阵并不能表示 Token 和其他 Token 的相关性，从 QKV 矩阵到最终语义表示有一个计算过程。
   1. 计算 Query 和 Key 的相关性
      1. 每个 token 的 Query 和所有 token 的 Key 做矩阵乘法运算，计算出它对其他 token 的相关性。这会生成一个二维矩阵，即注意力分数矩阵（Attention Scores）；
   2. 缩放和归一化
   3. 加权求和获得最终语义矩阵

跨注意力与掩码自注意力

1. 自注意力用于计算序列中每个 token 与其他 token 的关系——即实现序列内部的依赖关系建模。简单来说，每个 token 都可以“关注”同一输入序列的其他 token，从所有 token 中提取有用的信息并重新生成上下文敏感特征。
2. 掩码自注意力是一种限制版的自注意力机制，用来解决目标序列的因果性（causality）问题。在解码器生成目标序列时，模型需要严格遵循时间步的自回归逻辑，确保生成当前 token图片时，只能访问之前的 token，而不能看到未来 token。

多头注意力

1. 多头注意力（Multi-Head Attention）——输入序列被分到多个子空间，每个子空间独立计算自己的注意力表示；
   1. 多头注意力的核心思想是并行地在多个子空间中计算注意力表示，每个头独立学习特定的关系模式，并在最后通过拼接融合生成最终的上下文特征；
      1. 每个头分别计算自己的注意力
      2. 拼接这些注意力输出
      3. 最后通过线性变换
   2. 模式使用多头注意力后有几个明显的优点：
      1. 丰富表征能力：不同的注意力头独立计算，捕获多样化的语义、语法关系。
      2. 高效的计算：并行化支持多头计算，同时降低复杂度。
      3. 增强模型稳定性：通过冗余和分散化处理，降低单点故障的影响。

遗漏的关键步骤

1. 前馈网络：对每个 token 的特征表示进行进一步的非线性变换和特征提取；
2. 残差连接与归一化：稳定梯度流并加速模型收敛；
   1. 残差连接：将模块的输入和输出相加，形成新的表示；
   2. 归一化：对每层的输出进行归一化处理，使得数据分布更加稳定，便于后续层的处理；
3. 多层堆叠：编码器堆叠多层（6 层或 12 层），每一层包括自注意力机制、前馈网络和残差连接与归一化。每一层的输出作为下一层的输入，经过逐层处理最终得到编码器的全局语义表示。
   1. 编码器堆叠 N 层：多层次处理输入序列，通过堆叠逐步捕获更深的上下文信息，使得输入序列的特征向量更表达语义和语法。
   2. 解码器堆叠 N 层：在生成序列时，每层逐渐从已生成的序列中综合更多的上下文信息，同时将目标序列与编码器输出对齐，真正实现高质量的跨语言/跨序列建模。

Transformer 的优势

1. Transformer 相较于传统的 RNN（包括 LSTM 和 GRU）为基础的 Seq2Seq 模型，在多个方面具有显著的优势：
   1. 并行运算
      1. RNN 的设计是循环递归的，每个时间步的计算依赖于前一个时间步的输出。这种顺序计算方式阻碍了模型在长序列上的并行化处理，导致训练和推理过程速度较慢。
      2. Transformer 完全摒弃了递归计算，使用掩码自注意力机制在训练阶段能够同时对整个序列进行处理，加速模型训练过程。
   2. 长距离依赖
      1. RNN 越往后传播，模型的隐藏状态可能丢失早期输入的信息，尽管 LSTM、GRU 等通过“门控机制”稍微缓解了这个问题，但在捕获长距离依赖时仍显乏力。
      2. Transformer 通过自注意力机制，每个 token 都能直接与整个序列中的所有 token 建立联系，全局感知能力极大提高了对长序列上下文的理解能力。
   3. 丰富的特征表示
      1. RNN 的隐藏状态是单一维度的时间步相关表示，难以建模复杂的句法和语义模式。
      2. 多头注意力机制让 Transformer 可以从多角度捕获语义特征，更全面地表示复杂的信息依赖。
2. Transformer 在计算效率、长距离依赖建模、特征表示能力和任务泛化性等方面全面优于 RNN Seq2Seq，彻底颠覆了序列建模的传统方式，成为现代 NLP 和更广泛任务中的核心架构。

常见 Transformer 架构模型

T5：Transformer 正统

1. T5（Text-to-Text Transfer Transformer）是由谷歌提出的一种采用 Encoder-Decoder 结构的 Transformer 模型。其核心思想是通过将所有 NLP 任务统一建模为“文本到文本（text-to-text）”问题，将输入视为自然语言文本，将输出作为目标文本序列。
   1. T5 使用经典的 Transformer 架构：输入 → [Encoder] → 语义表示 → [Decoder] → 输出。由于其架构严格遵循 Transformer 的标准设计逻辑，因此可以称之为“Transformer 正统”模型。
   2. T5 能适配翻译、摘要、问答和分类等多种任务类型，尤其擅长处理输入与输出存在明确语义映射关系的任务。

GPT：Decoder-Only

1. GPT（Generative Pre-trained Transformer）任务核心是从给定的上下文中预测下一步的内容，并不涉及对额外输入的深度理解。因此 GPT 只使用了 Transformer 的 Decoder 部分，输入的序列会直接进入 Decoder，作为“历史输出”的一部分（标准 Transformer Decoder 初始输入序列是 <SOS>），参与注意力计算和生成下一步 Token，通过多头注意力机制对输入序列解析和建模上下文，然后自回归生成，这使得 GPT 架构极其简单、高效。
   1. 在 GPT 中没有了编码器，首先会把用户输入当做初始化的历史输出，使用掩码注意力机制生成 QKV 矩阵，然后预测下一个 token，直到遇到结束符 <EOS>，这就是 GPT 的单向注意力。这个机制也正是 GPT 类模型幻觉相对严重，擅长生成而不擅长理解的原因。
2. 如果我们要求 GPT 根据 "Once upon a time, in a magical forest, there lived a brave little rabbit." 生成一个童话故事，简化版的工作流程是这样的：
   1. 输入准备：将输入序列分词为小单位（Token），转化为向量表示，并加入位置信息。
   2. 初始化上下文：模型将开头提示作为上下文，视为“历史输出”，用于开始生成后续内容。
   3. 单向注意力处理：模型通过自注意力机制分析输入，并使用遮掩机制仅关注当前和之前的内容，确保生成过程是从左到右的。
   4. 前馈网络计算：注意力处理后的结果通过前馈神经网络进行进一步特征提炼，输出更新后的上下文表示。
   5. 预测下一个词：
      1. 模型基于上下文预测下一个词的概率分布，例如可能是 "The", "rabbit", "explored", "a", 等选项。
      2. 根据生成规则（如 Greedy Search 或采样），选择最优词，例如 "explored"。
   6. 循环生成：将生成的词 "explored" 添加到上下文，重复上述过程，生成后续内容；
   7. 结束生成：模型会继续生成，直到遇到结束符 <EOS>，或达到最大生成长度；
   8. 输出完整故事：最终生成的词序列被解码为自然语言；
3. 这是 GPT 的完整架构，相对于经典的 Transformer 确实比较简单
4. Decoder-only 模型的核心是单向注意力机制（Causal Attention）。这意味着模型在生成序列中的当前词时，只能关注其前面的词，而不能看到其后面的词。这种设计非常适合生成任务，因为生成文本本质上是一个从左到右、逐步预测下一个词的过程。模型通过学习前面词的模式来预测后续词，从而连贯地生成文本。 然而，这种单向性限制了模型对文本整体语境的理解。在理解任务（如情感分析、问答、文本摘要等）中，通常需要模型能够同时考虑文本的上下文信息，包括当前词前后的所有词。
   1. 例如，要理解一句话的情感，模型需要同时分析正向和负向的关键词，以及它们在句子中的排列方式。单向注意力机制使得模型难以像人类一样“通读”并全面把握文本的含义。

BERT：Encoder-Only

1. **BERT（Bidirectional Encoder Representations from Transformers）是由谷歌提出的一种专注于自然语言理解（NLU）**的 Encoder-Only 架构的 Transformer 模型；
   1. BERT 的核心目标是：将输入文本通过双向编码器形成深层语义表示，用于丰富地捕捉上下文依赖关系。
   2. BERT 的双向注意力在计算每个单词的表示时，同时结合了句子中左侧和右侧的上下文信息，对比单向模型（如 GPT），BERT 能理解更加全面的语义关系。
   3. BERT 只使用了 Transformer 的 Encoder 部分，摒弃了生成式任务相关的 Decoder。其参数通过大规模预训练进行优化，输入 → [双向 Encoder] → 深层语义表示。
2. BERT 特别强调“双向注意力” 的原因，并不仅仅是使用 Encoder 部分的自注意力机制，而是它对模型的训练方式和设计目标进行了特殊优化。BERT 在大规模无标签语料上进行预训练，采用了两个创新的预训练目标：
   1. Masked Language Modeling（MLM）：掩码语言模型
      1. 在训练阶段，随机遮掩（Mask）输入序列中的部分单词（用 [MASK] 替换），然后让模型同时关注该词的左侧上下文和右侧上下文来预测掩码的词，这种方式使 BERT 学会结合双向建模。
   2. Next Sentence Prediction（NSP）：下一句预测
      1. 给定两个句子 A 和 B，让模型判断 B 是否是 A 的下一句。这有助于学习句子之间的逻辑关系。
3. 由于 BERT Encoder-Only 架构 和强大的语义建模能力，BERT 特别擅长理解类任务，主要应用于以下领域：
   1. 自然语言理解任务
      1. 文本分类：情感分析、主题分类等。
      2. 文本相似性：句子对分类任务（如自然语言推断NLI、问句匹配）。
      3. 问答系统：基于上下文提取答案（机器阅读理解任务，例如 SQuAD）。
      4. 信息检索（IR）：根据用户查询从文档中提取相关内容。
   2. 语言学相关任务
      1. 核心语义分析：例如语法关系解析、命名实体识别（NER）。
      2. 样本不足任务：通过预训练语义表示在小数据集下迁移学习。

ViT：无 CNN 视觉任务处理

1. ViT（Vision Transformer） 是一个将 Transformer 架构成功应用于图像处理的模型，由谷歌研究团队在论文“An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale”中提出。
   1. 传统的 CNN 在图像处理上采用卷积操作（Convolution）来提取局部特征。而 ViT 则完全摆脱了卷积操作，通过使用 Transformer 的 自注意力机制（Self-Attention），直接对图像进行全局建模。
   2. ViT 的核心想法是将图像处理任务（如分类）转化为像文本处理一样的“序列任务”，即通过将图像分成小块（patches）并线性展平，作为序列输入到经典的 Transformer 中进行处理。它颠覆了传统的卷积神经网络（CNN）在图像领域占主导地位的局面，是视觉任务的重要突破。