其他分享
首页 > 其他分享> > 使用注意力机制的seq2seq

使用注意力机制的seq2seq

作者:互联网

(1)动机:机器翻译中,每个生成词可能相关于源句子中不同的词。

 编码器最后隐藏层包含了前边的信息,但是进行某一步时不一定需要前边全部信息,可以用注意力关注在源句子中对应的部分。

(2)加入注意力

解码器:当前的还未预测,所以根据上一次预测的提取到跟上一步预测附近相关的。

(3)总结

 

标签:预测,seq2seq,机器翻译,注意力,解码器,机制,前边,句子
来源: https://blog.csdn.net/m0_61407792/article/details/121629902