一、引言

在理解了ELMO和attention之后，在理解transformer就容易很多。transformer中会需要用到前面说的注意力机制，理解了transformer后我们还可以继续往下了解bert的原理。

二、结构

上面这个图大体就可以说明transform的过程了。它主要分为编码器和解码器两大部分，在上图中，左边部分表示编码器，右边表示解码器。

标签：NLP,transformer,ELMO,理解,编码器,transform,解码器
来源： https://www.cnblogs.com/liuxiangyan/p/12747389.html