【经典精读】Transformer模型和Attention机制

shijia0218 · 发表于 2022-5-4 08:44:15

文字长度: ★★★★★
阅读难度: ★★☆☆☆
原创程度: ★★★★☆
Transformer是2017年的一篇论文《Attention is All You Need》提出的一种模型架构，这篇论文里只针对机器翻译这一种场景做了实验，全面击败了当时的机器翻译各个benchmark上的SOTA。其优点除了效果好之外，由于encoder端是并行计算的，训练的时间也被大大缩短了。
它开创性的思想，颠覆了以往序列建模和RNN划等号的思路，现在被广泛应用于NLP的各个领域。目前在NLP各业务全面开花的语言模型如GPT, BERT等，都是基于Transformer模型的。因此弄清楚Transformer模型内部的每一个细节就显得尤为重要。
本文将按照下面的思路展开

0. Transformer 是什么

Attention的背景溯源(为什么要有attention?)
Attention的细节(attention是什么?)
- Query, Key, Value
- Multi-head Attention的本质
Transformer模型架构中的其他部分
- Feed Forward Network
- Positional Embedding
- Layer Normalization
Transformer的参数量和显存消耗估计
其他引发思考的问题(To be done...)
参考

0. Transformer是什么

Transformer模型的架构

Transformer的核心思想是：使用attention机制, 在一个序列的不同位置之间建立distance = 1的平行关系，从而解决RNN的长路径依赖问题(distance = N)。

理解“平行”的含义：在Transformer结构中，序列的不同pos(位置)之间距离都是1，模型只考虑不同pos的相对/绝对值，而不管pos之间的其他pos。

1. Attention是什么？

想要深度理解Transformer和Attention的机制，就需要了解一下它产生的背景、在哪类问题下产生，以及最初是为了解决什么问题而产生。
首先从机器翻译领域的模型演进历史切入：
机器翻译是从RNN开始跨入神经网络机器翻译时代的，几个比较重要的阶段分别是: Simple RNN -> Contextualize RNN -> Contextualized RNN with attention -> Transformer(2017)，下面来一一介绍。
1.1. Simple RNN：

这个encoder-decoder模型结构中，encoder将整个源端序列(不论长度)压缩成一个向量(encoder output)，源端信息和decoder之间唯一的联系只是: encoder output会作为decoder的initial states的输入。这样带来一个显而易见的问题就是，随着decoder长度的增加，encoder output的信息会衰减。

Simple RNN (without context)

【这种模型有2个主要的问题】

源端序列不论长短，都被统一压缩成一个固定维度的向量，并且显而易见的是这个向量中包含的信息中，关于源端序列末尾的token的信息更多，而如果序列很长，最终可能基本上“遗忘”了序列开头的token的信息。
第二个问题同样由RNN的特性造成: 随着decoder timestep的信息的增加，initial hidden states中包含的encoder output相关信息也会衰减，decoder会逐渐“遗忘”源端序列的信息，而更多地关注目标序列中在该timestep之前的token的信息。

1.2. Contextualized RNN：

为了解决上述第二个问题，即encoder output随着decoder timestep增加而信息衰减的问题，有人提出了一种加了context的RNN sequence to sequence模型：decoder在每个timestep的input上都会加上一个context。为了方便理解，我们可以把这看作是encoded source sentence。这样就可以在decoder的每一步，都把源端的整个句子的信息和target端当前的token一起输入到RNN中，防止源端的context信息随着timestep的增长而衰减。

Contextualized RNN

但是这样依然有一个问题: context对于每个timestep都是静态的(encoder端的final hidden states，或者是所有timestep的output的平均值)。但是每个decoder端的token在解码时用到的context真的应该是一样的吗？在这样的背景下，Attention就应运而生了:
1.3. Contextualized RNN with soft align (Attention)

Attention在机器翻译领域的应用最早的提出来自于2014年的一篇论文 Neural Machine Translation by Jointly Learning to Align and Translate

Contextualized RNN with Attention

在每个timestep输入到decoder RNN结构中之前，会用当前的输入token的vector与encoder output中的每一个position的vector作一个&#34;attention&#34;操作，这个&#34;attention&#34;操作的目的就是计算当前token与每个position之间的&#34;相关度&#34;，从而决定每个position的vector在最终该timestep的context中占的比重有多少。最终的context即encoder output每个位置vector表达的加权平均。

context的计算公式

2. Attention的细节

上面这一章节讲了attention机制的历史，帮助读者更加清楚地理解attention的作用，下面我们就来展开讲讲attention的细节
2.1. 点积attention

我们来介绍一下attention的具体计算方式。attention可以有很多种计算方式: 加性attention、点积attention，还有带参数的计算方式。我着重介绍一下点积attention的公式，这也是Transformer模型中所使用的attention公式:

Attention中(Q^T)*K矩阵计算，query和key的维度要保持一致

如上图所示，【经典精读】Transformer模型和Attention机制第8张图片

,

分别是query和key，其中，query可以看作M个维度为d的向量(长度为M的sequence的向量表达)拼接而成，key可以看作N个维度为d的向量(长度为N的sequence的向量表达)拼接而成。

【一个小问题】为什么有缩放因子 ?
- 先一句话回答这个问题: 缩放因子的作用是归一化。
- 假设 , 里的元素的均值为0，方差为1，那么中元素的均值为0，方差为d. 当d变得很大时，中的元素的方差也会变得很大，如果中的元素方差很大，那么的分布会趋于陡峭(分布的方差大，分布集中在绝对值大的区域)。总结一下就是的分布会和d有关。因此中每一个元素乘上后，方差又变为1。这使得的分布“陡峭”程度与d解耦，从而使得训练过程中梯度值保持稳定。

2.2. Attention机制涉及到的参数

一个完整的attention层涉及到的参数有:

把 , , 分别映射到 , , 的线性变换矩阵 ( ), ( ), ( )
把输出的表达映射为最终输出的线性变换矩阵 ( )

2.3. Query, Key, Value

Query和Key作用得到的attention权值会作用到Value上。因此它们之间的关系是:

Query 和Key的维度必须一致，Value 和Query/Key的维度可以不一致。
Key和Value 的长度必须一致。Key和Value本质上对应了同一个Sequence在不同空间的表达。
Attention得到的Output 的维度和Value的维度一致，长度和Query一致。
Output每个位置 i 是由value的所有位置的vector加权平均之后的向量；而其权值是由位置为i 的query和key的所有位置经过attention计算得到的，权值的个数等于key/value的长度。

Attention示意图

在经典的Transformer模型中，我们记线性映射之前的Query, Key, Value为q, k, v，映射之后为Q, K, V。那么:

self-attention的q, k, v都是同一个输入, 即当前序列由上一层输出的高维表达。
cross-attention的q代表当前序列，k,v是同一个输入，对应的是被编码的序列，也即encoder最后一层的输出结果(对decoder端的每一层来说，k和v保持不变)

而每一层线性映射参数矩阵都是独立的，所以经过映射后的Q, K, V各不相同，模型参数优化的目标在于将q, k, v被映射到新的高维空间，使得每层的Q, K, V在不同抽象层面上捕获到q, k, v之间的关系。一般来说，底层layer捕获到的更多是lexical-level的关系，而高层layer捕获到的更多是semantic-level的关系。
2.4. Attention的作用(high-level理解)

下面这段我会以机器翻译为例，用通俗的语言阐释一下attention的作用，以及query, key, value的含义。

Transformer模型Encoder, Decoder的细节图（省去了FFN部分）

query对应的是需要被表达的序列(称为序列A)，key和value对应的是用来表达A的序列(称为序列B)。其中key和query是在同一高维空间中的(否则无法用来计算相似程度)，value不必在同一高维空间中，最终生成的output和value在同一高维空间中。上面这段巨绕的话用一句更绕的话来描述一下就是:

序列A和序列B在高维空间中的高维表达的每个位置分别和计算相似度，产生的权重作用于序列B在高维空间中的高维表达，获得序列A在高维空间中的高维表达

Encoder部分中只存在self-attention，而Decoder部分中存在self-attention和cross-attention
【self-attention】encoder中的self-attention的query, key, value都对应了源端序列(即A和B是同一序列)，decoder中的self-attention的query, key, value都对应了目标端序列。
【cross-attention】decoder中的cross-attention的query对应了目标端序列，key, value对应了源端序列(每一层中的cross-attention用的都是encoder的最终输出)
2.5. 多头Attention (Multi-head Attention)

Attention是将query和key映射到同一高维空间中去计算相似度，而对应的multi-head attention把query和key映射到高维空间的不同子空间【经典精读】Transformer模型和Attention机制第32张图片

中去计算相似度。
为什么要做multi-head attention？论文原文里是这么说的:

Multi-head attention allows the model to jointly attend to information from different representation subspaces at different positions. With a single attention head, averaging inhibits this.

也就是说，这样可以在不改变参数量的情况下增强每一层attention的表现力。

Multi-head Attention示意图

Multi-head Attention的本质是，在参数总量保持不变的情况下，将同样的query, key, value映射到原来的高维空间的不同子空间中进行attention的计算，在最后一步再合并不同子空间中的attention信息。这样降低了计算每个head的attention时每个向量的维度，在某种意义上防止了过拟合；由于Attention在不同子空间中有不同的分布，Multi-head Attention实际上是寻找了序列之间不同角度的关联关系，并在最后concat这一步骤中，将不同子空间中捕获到的关联关系再综合起来。
从上图可以看出，

和

之间的attention score从1个变成了h个，这就对应了h个子空间中它们的关联度。
2.6. Attention层的公式

Transformer中Attention层的完整公式，使用Multi-head Attention

如上是Transformer中Attention层的完整公式。在经过并行的多个head的qkv计算后，它们的结果被拼接在一起，再经过的线性映射，得到最终的结果。
2.7. Decoder端的Mask

Transformer模型属于自回归模型（p.s. 非自回归的翻译模型我会专门写一篇文章来介绍），也就是说后面的token的推断是基于前面的token的。Decoder端的Mask的功能是为了保证训练阶段和推理阶段的一致性。
论文原文中关于这一点的段落如下：

We also modify the self-attention sub-layer in the decoder stack to prevent from attending to subsequent positions. This masking, combined with the fact that the output embeddings are offset by one position, ensures that the predictions for position i can depend only on the known outputs at positions less than i.

在推理阶段，token是按照从左往右的顺序推理的。也就是说，在推理timestep=T的token时，decoder只能“看到”timestep < T的 T-1 个Token, 不能和timestep大于它自身的token做attention（因为根本还不知道后面的token是什么）。为了保证训练时和推理时的一致性，所以，训练时要同样防止token与它之后的token去做attention。
3. Transformer模型架构中的其他部分

除了最有特色的Attention层之外，Transformer还应用了一些之前的技术，比如Layer Normalization，Residual Connection，还有为了在并行编码同时捕获位置信息的Positional Embedding。
3.1. Layer Normalization

在每个block中，最后出现的是Layer Normalization。Layer Normalization是一个通用的技术，其本质是规范优化空间，加速收敛。
当我们使用梯度下降法做优化时，随着网络深度的增加，数据的分布会不断发生变化，假设feature只有二维，那么用示意图来表示一下就是：

数据的分布发生变化，左图比较规范，右图变得不规范

为了保证数据特征分布的稳定性（如左图），我们加入Layer Normalization，这样可以加速模型的优化速度。
3.2. Feed Forward Network

每一层经过attention之后，还会有一个FFN，这个FFN的作用就是空间变换。FFN包含了2层linear transformation层，中间的激活函数是ReLu。
公式是：【经典精读】Transformer模型和Attention机制第38张图片

曾经我在这里有一个百思不得其解的问题：attention层的output最后会和【经典精读】Transformer模型和Attention机制第39张图片

相乘，为什么这里又要增加一个2层的FFN网络？
其实，FFN的加入引入了非线性(ReLu激活函数)，变换了attention output的空间, 从而增加了模型的表现能力。把FFN去掉模型也是可以用的，但是效果差了很多。
3.3. Positional Encoding

位置编码层只在encoder端和decoder端的embedding之后，第一个block之前出现，它非常重要，没有这部分，Transformer模型就无法用。位置编码是Transformer框架中特有的组成部分，补充了Attention机制本身不能捕捉位置信息的缺陷。

position encoding

Positional Embedding的成分直接叠加于Embedding之上，使得每个token的位置信息和它的语义信息(embedding)充分融合，并被传递到后续所有经过复杂变换的序列表达中去。
3.2.1. 使用Positional Encoding带来的独特优势

优势1
不得不说，使用Positional Encoding作为每个token位置的唯一表示，这一思路很NB，为什么呢?

模型输入Encoder的每个token对应的向量有2部分:
- Positional Encoding
- Embedding Output
Transformer的特性使得encoder的输入向量之间完全平等(不存在RNN那种recurrent结构)，token的实际位置和positional encoding唯一绑定，我们可以通过对positional encoding进行操作来改变token在序列中的实际位置。

[a] 输入等于Positional Encoding + Embedding Output

* 对inference阶段而言

下图中的输入Embedding部分没有变化，但是Positional Encoding部分被打乱了顺序
下图[c]中的Positional Encoding部分没有变化，但是Embedding部分被打乱了顺序
实际上和[c]完全等价，因为在2种输入中E1-P5, E2-P1, E3-P3, E4-P2, E5-P4这个对应关系恒定。

【经典精读】Transformer模型和Attention机制-64.jpg (130.9 KB, 下载次数: 0)

下载附件保存到相册

2022-5-4 09:12 上传

输入token顺序不变，只改变positional encoding顺序

【经典精读】Transformer模型和Attention机制-65.jpg (133.14 KB, 下载次数: 0)

下载附件保存到相册

2022-5-4 09:12 上传

[c] 输入positional encoding顺序不变，token顺序改变

* 对trAIn阶段而言(针对learned postional encoding的情况)

由于positional encoding是训练出来的，那么它在inference阶段代表哪个位置，完全由训练时的实际位置决定

举个例子，在decoder中，cross-attention模块是有mask的，目的是防止token与它之后的token去做attention，也就是left-to-right模型。如果这时我突然想要训一个right-to-left的模型，那么做法1是在预处理阶段将序列翻转过来(比较简单也比较容易想到)；做法2是在训练时将mask策略换一下

【经典精读】Transformer模型和Attention机制-66.jpg (130 KB, 下载次数: 1)

下载附件保存到相册

2022-5-4 09:12 上传

Left-to-Right模型训练时对应的decoder mask

【经典精读】Transformer模型和Attention机制-67.jpg (133.41 KB, 下载次数: 0)

下载附件保存到相册

2022-5-4 09:12 上传

Right-to-Left模型训练时对应的decoder mask

做法1和做法2训练出来的positional encoding是等价的

【延伸】有兴趣可以看看XLNet是如何利用mask来实现Permuted Language Model的: 潘小小：【论文串讲】从GPT和BERT到XLNet

优势2
论文中使用的Positional Encoding(PE)是正余弦函数，位置(pos)越小，波长越长，每一个位置对应的PE都是唯一的。同时作者也提到，之所以选用正余弦函数作为PE，是因为这可以使得模型学习到token之间的相对位置关系：因为对于任意的偏移量k，可以由的线性表示：

上面两个公式可以由和的线性组合得到。也就是乘上某个线性变换矩阵就得到了
p.s. 后续也有很多工作在attention中使用了“相对位置表示” (比如Self-Attention with Relative Position Representations) ，有兴趣可以看看。
4. Transformer的参数量和显存消耗估计

4.1 参数量

For each Encoder layer: (MHDPA + 2 * LN + FFN) * N_Layer

Multi-head dot product attention: MHDPA has 4 linear connections (i.e., K, V, Q, output after concat) ⇒ 4 * [(x*x) + x]

Layer norm: (2*x)

FFN: (2 * x*x_f)+x+x_f (2-layer FFN, inner dim x_f (FFN size) )

For each Decoder layer: (2 * MHDPA + 3 * LN + FFN) * N_Layer

The embedding(input output share): V * E

Decoder output (pre-softmax linear transformation): V*E (may share with input embedding)

Learned positional embedding: V * E

所以可训练参数总量为: (MHDPA + 2* LN + FFN) * N_Layer (encoder) + (2*MHDPA + 3 LN + FFN) * N_Layer (decoder) + 2V * E (shared embedding + learned pos emb)
4.2 显存消耗

训练时的显存占用包括 (1) weight (2) hidden layers (3) bp gradients (1x in SGD, 3x in Adam) (4) attention这几个部分。

和seq length关系和batch size关系
weight Constant Constant
hidden layers Linear Linear
BP gradients(1x in SGD, 3x in Adam) Constant Constant
Attention Quadratic Linear
5. 其它问题(未完待续)

✅Attention在反向传播算法如何更新其中参数，又是如何影响其他参数的更新的？

✅Multi-head Attention本质上做了一件什么事？从反向传播算法的角度分析？

✅Positional Encoding应用反向传播算法时是如何影响到其他参数的更新的？同样的理论可以延伸到其他additional embedding，比如多语言模型中的language embedding。

✅从反向传播算法角度分析每个Encoder/Decoder Layer中FFN部分的作用？

6. 参考

其他......

本文只是重点介绍了一下Transformer，当前基于Transformer的各类后续研究正在自然语言处理的各大领域里大放异彩，本人还有一些其他的文章与Transformer有关:
潘小小：【算法实践】深度模型训练细节(以Transformer为例)本文已独家授权公众号浅梦的学习笔记发布在微信公众平台。

上一篇：我，从华尔街到西雅图，多赚了一倍工资……
下一篇：【经典简读】知识蒸馏(Knowledge Distillation) 经典之作

stuart613 · 发表于 2022-5-4 08:45:06

Layer规范化的图，为啥画的是从规范到不规范呢？

ZIPZAP · 发表于 2022-5-4 08:45:21

那到底positional embeding是怎么发挥作用的呢？

林初一k · 发表于 2022-5-4 08:45:56

为啥positional embeding用sin和cos函数呢？

fanglei2011 · 发表于 2022-5-4 08:46:12

正常情况下数据的分布会从规范到不规范，Layer Norm的作用就是把不规范的分布修正成规范的，从而加速收敛

赛呀赛呀赛 · 发表于 2022-5-4 08:47:08

这部分我后续会补充的，最近比较忙

病毒死翘翘 · 发表于 2022-5-4 08:47:41

奥奥，明白了

lihao1004 · 发表于 2022-5-4 08:48:41

这个我看了几个开源实现上，有的直接当embedding搞了，根本没按照公式来编码。论文中直接搞出10000这个数，谁也不知道为啥

女侠独孤雯 · 发表于 2022-5-4 08:48:55

学姐，还招自然语言处理的工程师么？想加入

胖胖的树獭 · 发表于 2022-5-4 08:49:26

试出来的

白金会员	积分	兔币	帖子
白金会员, 积分 3674, 距离下一级还需 1326 积分	3674	2021	1655
在线时间：0 小时	最后登录：2024-2-19

白金会员	积分	兔币	帖子
白金会员, 积分 3455, 距离下一级还需 1545 积分	3455	1884	1571
在线时间：0 小时	最后登录：2024-2-28

白金会员	积分	兔币	帖子
白金会员, 积分 3627, 距离下一级还需 1373 积分	3627	1992	1635
在线时间：0 小时	最后登录：2023-10-3

白金会员	积分	兔币	帖子
白金会员, 积分 3532, 距离下一级还需 1468 积分	3532	1935	1597
在线时间：0 小时	最后登录：2024-2-21

白金会员	积分	兔币	帖子
白金会员, 积分 3330, 距离下一级还需 1670 积分	3330	1834	1496
在线时间：0 小时	最后登录：2023-10-12

[问答] 【经典精读】Transformer模型和Attention机制

关联主题

精彩评论20

被认错是杨幂的13年后，赵丽颖和杨幂走上了

郭晋安和妻子离婚，杨乐乐深陷风波，“丧偶

吉利熊猫卡丁上市续航200公里售价4.69万

奇瑞增程式大SUV来了！只卖18.98万，PK问界

iQOO Neo9s Pro+配置曝光：1.5K+144Hz直屏

重磅官宣：西安也取消了！仅北京、上海、深

取消预售，天猫兜不住了

大败局！批量复制的旅游古镇，正在批量沦为

普涨之后，明天继续涨！

稀土龙头终于再次上调挂牌价！稀土价格出现

谁贡献了A股2.24万亿分红？

印媒：“负债累累”的巴基斯坦如何获取最新

学罗永浩带货还债？贾跃亭宣布将开启个人IP

《魔兽世界》地心之战可以沉浸式撸猫，新图

A股指数全线飘红！“三个不确定性”降低

狼队4-0KSG，闯入胜决会师AG！妖刀直言：惧

美国人叫停拜登：放弃“保卫”南海，马科

辽宁94-110广东，周琦复出改变内线平衡，张

华为再造一悍将！将上市，鸿蒙座舱，智能驾

模仿名人，蹭流量，只是昙花一现

主角脸对女演员有多重要？看《无限超越班》

万科，破鼓万人捶

轰20很快对外公布，台中将：轰20完全隐形，

鸡蛋大小！广州多地降下冰雹，“天空数次闪

3个半小时，点球10-11，夺冠热门出局，黑马

不许对台军售！以往是美制裁中国，中方首次

20岁谷爱凌惊艳颁奖礼，穿“黄金战袍”气场

我老公是国足！球员妻子开保时捷撞车后打人

“木头姐”谈特斯拉目标价，说对了吗

巴勒斯坦“入联”遭美阻挠，联合国一票否决

财神驾到

绿林道的

一抹伤

哇哇的哭

冷香丸