对《OmniNet: Omnidirectional Representations from Transformers》方法的理解
作者：互联网
1.OMNIDIRECTIONAL REPRESENTATIONS
对于一个L层的transformer网络，输入的数据维度是N×d，同理得transformer每一层的输出都是N×d。
x
f
o
r
m
e
r
(
X
)
=
X
1
,
X
2
⋅
⋅
⋅
X
L
xformer(X)=X_1,X_2···X_L
xformer(X)=X1,X2⋅⋅⋅XL ，
X
i
∈
R
N
×
d
X_i ∈ R^{N×d}
Xi∈RN×d
对于上面的公式，得到的实际是transformer每一层的输出。
然后omninet的机制其实就是下面的公式：
O
=
A
t
t
e
n
d
(
I
n
d
e
x
S
o
r
t
(
X
1
,
X
2
,
⋅
⋅
⋅
X
L
)
)
O=Attend(IndexSort(X_1,X_2,···X_L))
O=Attend(IndexSort(X1,X2,⋅⋅⋅XL))
就是将xformer的输出按索引序号排好串联在一起后进行self-attention，这时得到的O就拥有了每一层每个位置之间的注意力信息。将O展开成（L×N）×d后输入尺寸为L的最大池化，便得到N×d的向量
O
′
O^{\prime}
O′，这个
O
′
O^{\prime}
O′是具有transformer全方位注意力的向量，将其加到transformer最后一层的输出便可以获得带有全方位注意力的输出。
标签：一层,输出,transformer,OmniNet,Transformers,Attend,xformer,X2,Representations 来源： https://blog.csdn.net/weixin_44000193/article/details/123186185