编程语言
首页 > 编程语言> > 文本分类算法之BiLSTM+Attention

文本分类算法之BiLSTM+Attention

作者:互联网

目录

概述

Attention,注意力机制在提出之时就引起了众多关注,就像我们人类对某些重要信息更加看重一样,Attention可以对信息进行权重的分配,最后进行带权求和,因此Attention方法可解释性强,效果更好,。本文主要讲解论文Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification中提出的BiLSTM+Attention模型,下面我们将详细的讲解这个模型。

模型架构

BiLSTM+Attention模型的网络架构如下图所示:
image

从图中可以看出,相对于以前的文本分类中的BiLSTM模型,BiLSTM+Attention模型的主要区别是在BiLSTM层之后,全连接softmax分类层之前接入了一个叫做Attention Layer的结构,

标签:Attention,架构,BiLSTM,模型,分类,文本
来源: https://www.cnblogs.com/zjuhaohaoxuexi/p/15203672.html