DAM模型
作者:互联网
1.概述
DAM用于处理一个连续型的问答问题,问题的答案存在于一个序列中,模型的目标是从待选择的答案中选出最合适的答案并给予评分。
2.模型结构
3.模型
输入是若干个问题,和一个答案的集合,经过embeding形成字向量,词向量,和句子向量,然后经过多层的self-attention机制形成字,词,句子级三个不同粒度的向量。
attentionMoudle
公式:
记作:
在attentive过程中每一层和上一层的关系
其中l代表粒度,i代表问题的序号。
Matching过程
对于上一层的输出,
然后通过池化形成评分结果
标签:一层,DAM,模型,粒度,答案,向量 来源: https://www.cnblogs.com/yangyang12138/p/12934474.html