其他分享
首页 > 其他分享> > Longformer:超越RoBERTa,为长文档而生的预训练模型

Longformer:超越RoBERTa,为长文档而生的预训练模型

作者:互联网

Longformer:超越RoBERTa,为长文档而生的预训练模型
前言
今天要与大家分享的是AllenAI今年发表的最新工作,Longformer——一种可高效处理长文本的升级版Transformer。作者团队提供了开源代码,大家可快速复现,直接用于自己的任务。

传统Tranformer-based模型在处理长文本时有着天然的劣势。因为传统模型采用的是“全连接”型的attention机制,即每一个token都要与其他所有token进行交互。其attention复杂度高达。此前的解决办法是将长文切分为若干个较短的text span,然后逐个处理。这就导致不同的text span之间无法进行交互,因而必然存在大量information loss。当然,我们也可以通过添加一些其他机制来加强这种text span之间的交互。但这种新增机制实现起来通常比较复杂,而且往往是task-specific的,通用性不强。

本文提出的Longformer,改进了Transformer的传统attention机制:对于每一个token,只对固定窗口大小的附近token计算local attention,并结合具体任务,计算少量的global attention。该方法的优点包括:

原文链接:
https://arxiv.org/pdf/2004.05150.pdf
Github:
https://github.com/allenai/longformer
Arxiv访问慢的小伙伴也可以在订阅号 「夕小瑶的卖萌屋」 后台回复关键词 【0716】下载论文PDF~
模型
作者共提出了三种新的attention pattern,来降低传统self-attention的复杂度,分别是滑窗机制、膨胀滑窗机制、融合全局信息的滑窗机制。下图展示了传统attention与这三种attention pattern的示意图。接下来将为大家分别讲解。
Longformer:超越RoBERTa,为长文档而生的预训练模型
1. 滑窗机制(Sliding window): 对于每一个token,只对其附近的w个token计算attention计算复杂度与文本序列长度成线性关系,为。作者认为,根据应用任务的不同可以对Transformer每一层施以不同的窗口大小,对模型表示能力可能有潜在帮助。

读到这里的,大家可能和我一样,误认为这个窗口应该比较小,估计在16~64这个量级。但看到实验部分会发现,作者在具体实现的时候,设置的窗口大小为512,和Bert的Input限制完全一样。所以,大家不要存有“Longformer比Bert还要更轻量”的错觉。

Longformer:超越RoBERTa,为长文档而生的预训练模型

2. 膨胀滑窗机制(Dilated sliding window): 在对每一个进行token编码时,普通滑窗机制只能考虑到长度为的上下文。作者进一步提出膨胀滑窗机制,在不增加计算负荷的前提下,拓宽模型“视场”。其做法借鉴了空洞卷积的思想[1]。如下图所示,在滑动窗口中,被attend到的两个相邻token之间会存在大小为d的间隙。当transformer的层数为l时,则视场范围可达到。实验表明,由于考虑了更加全面的上下文信息,膨胀滑窗机制比普通的滑窗机制表现更佳。
Longformer:超越RoBERTa,为长文档而生的预训练模型

3. 融合全局信息的滑窗机制(Global+sliding window): 我们知道Bert一类的语言模型在应用于具体任务时,实现方式略有不同。比如,对于文本分类任务,我们会在文本序列前添加[CLS]这一特殊token;而对于QA类任务,则会将问题与文本进行拼接后输入。在Longformer中,作者也希望能够根据具体任务的不同,在local attention的基础上添加少量的global attention。比如,在分类任务上就会在[CLS]处添加一个global attention,而在QA任务上会对question中的所有token添加global attention。如下图所示,对于添加了global attention的token,我们对其编码时要对整个序列做attention。并且,编码其他所有token时,也都要attend到它。
Longformer:超越RoBERTa,为长文档而生的预训练模型
实验
自定义CUDA内核
由于现有的深度学习库中并没有能直接实现膨胀滑窗机制的接口,为此作者直接自定义了CUDA内核操作,用于实现Longformer的attention pattern[2]。如下图所示,Longformer的内存消耗与文本长度成线性关系(红线)。用自定义CUDA来实现Longformer,相比于用Naive Pytorch来实现(蓝线),运行速度加快了六倍。
Longformer:超越RoBERTa,为长文档而生的预训练模型
Longformer在字符级别任务上的表现
作者在text8和enwik8两个字符级任务上对Longformer进行实验。实验中,模型每一层采用了不同的窗口大小:底层使用较小的滑窗,以建模局部信息;在高层使用较大的滑窗,以扩大感受野。训练时,理想状况下当然是希望使用GPU所能承受的最大的window size和sequence len。但为了加快训练速度,作者采用的是一种阶段式的训练方式:在学习更长的上下文之前,先学好局部的上下文。在第一阶段,先设置较短的序列长度和窗口大小。在后续阶段,window size和sequence length增加一倍,学习率减半 实验结果如下图所示,Longformer在这两个数据集上皆达到了SOTA效果(注:测试指标为BPC,bits-per-character;BPC越小,性能越优)。

Longformer:超越RoBERTa,为长文档而生的预训练模型
作者通过实验,对滑窗机制的设置进行了进一步的讨论。如下表所示:

标签:RoBERTa,训练,滑窗,attention,token,为长,机制,Longformer
来源: https://blog.51cto.com/15061930/2570337