其他分享
首页 > 其他分享> > Transformer架构记录(二)

Transformer架构记录(二)

作者:互联网

在 Transformer架构记录(一)中,得到了一句话的数字表示 X,下面将 X 输入到Encoder的第一个Encoder-block中对其做进一步处理。

一个完整的Encoder-block如下图所示:

一个完整的Encoder-block由两个子模块构成,分别为Multi-Head Attention + Add&Norm 组成的第一子层,Feed Forward + Add&Norm 组成的第二子层。

Multi-Head Attention + Add&Norm 第一子层

1.1 Multi-Head Attention

Multi-Head Attention的输入为 X (当然,排在后面的Encoder-block的Multi-Head Attention的输入为前一个Encoder-block第二子层Add&Norm的输出);

Multi-Head Attention的输出记为 X_mha(X_mha与X的size相同);

具体从 X 到 X_mha 见 “Transformer架构记录(三)”。

1.2 Add&Norm

Add&Norm的输入为 X 与 X_mha,处理流程如下:

X_add_1 = X + X_mha(此处理解为普通的矩阵加法, X_add_1 、 X 、 X_mha的size相同)
这是一种残差连接处理方法;

X_norm_1 = LayerNorm( X_add_1 ) ,X_norm_1 、 X_add_1 、 X 、 X_mha的size相同;
Layer Normalization 会将每一层神经元的输入都转成均值方差都一样的,这样可以加快收敛。

Feed Forward + Add&Norm 第二子层

2.1 Feed Forward

Feed Forward的输入为第一子层Add&Norm的输出,本例中为 X_norm_1 ,

Feed Forward对X_norm_1的处理为:X_ff = max(0, X_norm_1W_1 + b_1)W_2 + b_2 (X_ff 、 X_norm_1 、 X_add_1 、 X 、 X_mha的size相同)

2.2 Add&Norm

Add&Norm的输入为 X_norm_1 与 X_ff,处理流程如下:

X_add_2 = X_norm_1 + X_ff(X_add_2 、X_ff 、 X_norm_1 、 X_add_1 、 X 、 X_mha的size相同)

X_norm_2 = LayerNorm( X_add_2 ) (X_norm_2 、 X_add_2 、X_ff 、 X_norm_1 、 X_add_1 、 X 、 X_mha的size相同)

最终一个Encoder-block的输出为X_norm_2,它与该Encoder-block的输入 X 的size相同;即每个Encoder-block的输入与输出的大小一致。
第一个 Encoder block 的输入为句子单词的表示向量矩阵,后续 Encoder block 的输入是前一个 Encoder block 的输出,最后一个 Encoder block 输出的矩阵就作为 整个Encoder部分的输出,如下图所示:

下期预告:Multi-Head Attention的详细

标签:Transformer,架构,记录,Add,Encoder,add,norm,mha,block
来源: https://www.cnblogs.com/pythonfl/p/15364105.html