NLP --- > The Illustrated Transformer (翻译)

transformRef: https://jalammar.github.io/illustrated-transformer/自注意模型细节：输入词向量矩阵，n*e,其中n为词的个数，e为向量长度设定三个参数矩阵分别为WQ,WK,WVW^Q,W^K, W^VWQ,WK,WV，为了减少参数，该三个矩阵共享参数将三个矩阵分布为词向量矩阵相乘，得到Query, Key, Value m...

chencas

237人浏览 · 2019-12-07 18:14:44

chencas · 2019-12-07 18:14:44 发布

本文是一篇非常好的transformer的翻译，此处为原文链接。

preface

我们知道，attention目前已经深度学习中一种普通的方法。在这篇文章中，我们将介绍Transformer，一种在使用attention时能够加速训练的模型，不仅如此，在一些任务上，它的效果还要比 Google Neural Machine Translation model出色，下面我们拆分详细分析下这个模型。

The Transformer是2017年由Google的一篇问题Attention is all you need 提出, 其中此处是tensorflow的实现，其作为Tensor2Tensor的一个子模块，pytorch的一个由Harvard’s NLP groups的实现这里。

A High-level Look

当我们做机器翻译的时候，即如下图，存在若干encoders 和decoders

其中encoders和decoders均由几个相同的encoder或decoder层堆叠组成，这些encoder的结构完全相同，只是其参数不同。

每个encoder可分解为两层，其输入分别经过self-attention—该层能够获取输入的各词两两之间的相关信息，具体后面分析，然后经过一个普通的前馈神经网络，每个输入位置对应的网络是独立互不干扰的。

每个decoder同样具有与encoder相同的两层，但其在两层直接又夹了一attention 层，能够帮助decoder集中于输入句子的相关部分（其作用于seq2seq model中的attention相似）

Bring the Tensors into the Picture

从上面我们大致看出翻译的基本机构，下面我们具体从更细的张量角度来看整个流程是怎么运作的。最开始，我们通过embedding algorithm将输入的词转化为向量，即：

在这里插入图片描述

Encoding

对于最底层的encoder, 其输入的是一个句子中所有词向量的list, 如果我们的训练集句子长度不一，我们以句子的最大长度作为list 的容量，其他较短的句子中进行padding（填充）以达到相同的长度，这样对于每个句子，其输入的维度都将保持一致。对于list中每个词的向量，其维度我们事先进行训练设置的参数保持一致。
对于其他层的encoder，其输入为上一层encoder的输出，每层的输入输出的张量维度信息都保持一致。

Self-Attention at a High Level

当我们想将下面的句子翻译时：

”The animal didn't cross the street because it was too tired”

单词‘it’指的是什么？是街道还是动物？对于人类很简单，对于算法并不容易理解；
这里模型处理方式是，对于一个输入句子的每个词，self-attention允许它“看”该句子的所有的其他词，通过这种方式，能够“理解”该句子中其他相关的词。具体可视化关联性，可参考Tensor2Tensor notebook

Self-Attention in Detail

下面我们具体看一下一个词怎么和其他词进行联系，具体的过程是什么样的。

第一步：首先创建三个矩阵 $W^Q， W^K，W^V$ ，其维度为512*64（512为词向量维度，64为attention维度），然后对每一次词，将创建的矩阵与词向量相乘得到对应的Query Vector， Key Vector和Value Vector。
第二步：对于每个词，计算一个分数。比如这个例子中，对于第一个词“Thinking”,我们需要分别计算句子中每个词（包括它自己）与该词的关联性分值，如图所示：
第三步：将上述得到的分值再除以一个共同的值 $\sqrt{d_k}$ ，这里为8，其目的在于有更稳定的梯度，也其他为其他数值。
第四步：计算上述值的softmax值，当然，在原位的分值最高，但有时候也能找到其他更相关的词。
第五步：将softmax的值与values值求积
第六步：将上述得到的值相加，为这个新生成一个向量。

我们然后将为该词新生成的向量传给下一层进行计算。

上述过程可以用矩阵成绩来完成：
如第一步，直接使用一个句子所有词相乘，其中矩阵X中每一行代码输入句子的一个词：

剩下步骤：如图所示，直接得到句子中每个词新向量的表达：

The Beast With Many Heads

论文中进一步优化self-attention，通过多头（“multi-headed”）机制，它通过两种方式提升attention layer的表现。

它扩展了模型聚焦不同位置的能力，在上面的例子中，Z包含了每一个其他位置的信息，但是它也可能被它自己主导；但我们想知道“The animal didn’t cross the street because it was too tired””中“it”代表的含义时，多头能提供更多的信息，更可能聚集到正确的位置。
它给attention layer多个表示"子空间"，这种机制使得我们有多套Query/Key/Value 权重矩阵，在使用时每一套被随机初始化，训练后，每一套都能用户将输入向量转化为一个不同的表示子空间。

如果像上述提到的计算方式，当我们使用 8个heads时，将会得到8个不同的Z矩阵。

此时有些问题，就是下一层的输入要求的是一个矩阵，而我们现在有8个，因此我们需要将其压缩为一个。怎样做呢，如下图所示：

首先将所得到的z矩阵拼接在一起
将拼接好的矩阵乘以一个权重矩阵 $W^0$
将结果作为encoder层的最终输出层进入下一层。

小结

在整个过程中有很多矩阵，让我们在一起看整个流程

经过“multi-head”学习后，让我们重新修正上述中的例子，看句子中“it”表示的含义

看一看出其中一个head聚集在“tired”上，一个聚集在“the animal”上。某种意义上，在这个模型中，“it”含有同时含有“animal”和“tired”的表示。然而，当我们把所有的head加上后，结果有点难以解释：

Representing The Order of The Sequence Using Positional Encoding

在上述模型中，还有词的顺序信息没有被利用，被模型丢弃，为了解决上述方法，the transform对于每个词增加了一个位置向量，这个向量能够通过学习表征到一些特定的模式，帮助决定每个词的位置，或者不同词之间的距离。

如果向量的维度是4，那个真实的位置向量看起来是这样的：

那么特定的模式是什么样子呢：
在下面图中，每一行代表一个位置编码，其中共有20个词，每个词的词向量维度为512。为什么看起来是中间分裂的，是因为左半部是由于sine函数产生，右半部分由cose函数产生，他们然后拼接形成每个词的位置编码。

位置编码的具体公式见原论文，虽然它并不是仅有的位置编码方式，但也能够对未知长度的序列进行编码，比如当我们进行翻译比我们训练集更长的句子时。

residuals

值得注意的是，在每一个encoder层，都有一个残差连接，然后接一个lay-normalization层：

具体来看，即是

该残差结构同样对decoder有效，当我们考虑到两层的encoders和decoders时，结果如下：

The Decoder Side

通过对encoder部分的分析，我们已了解大部分概念，下面详细了解decoder层是如何工作的。首先值得encoder层初始的输入为句子中词的向量；顶层的encoder输出为一套attention 向量 K和V；它能够被每一个decoder的encoder-decoder attention 层来使用，以帮助decoder集中在输入句子中合适的位置，如图所示：

decoder部分中每一步的输出用于底层decoder层的输入，正如encoder所做的，decoder中我们也将位置向量作为输入来表示每个词的位置，如图所示

在解码器中的self attention 层与编码器中的稍有不同，在解码器中，self-attention 层仅仅允许关注早于当前输出的位置。在softmax之前，通过遮挡未来位置（将它们设置为-inf）来实现。

"Encoder-Decoder Attention "层工作方式跟multi-headed self-attention是一样的，除了它从前层获取输出转成query矩阵，接收最后encoder层的key和value矩阵做key和value矩阵作为相应矩阵。

Final Linear and softmax layer

最后decoder层输入一个浮点型的向量，怎么把它转成一个词呢，这就是最后线性层和softmax层的作用。
线性层是一个简单的全连接层，通过将decorders的输出投射到一个更加大的向量，称为“logits vector”，其大小和词汇保持一致，然后通过softmax输出一个概率分值，并选择概率最高的作为下一个词。