首页 > 其他分享> > 自然语言处理(NLP)-第三方库(工具包)：FastSum【基于fastNLP开发的文本摘要解决方案，包括数据加载、模型调用、模型评价】【实现的模型：Seq2Seq、PGNet、BertSum】
自然语言处理(NLP)-第三方库(工具包)：FastSum【基于fastNLP开发的文本摘要解决方案，包括数据加载、模型调用、模型评价】【实现的模型：Seq2Seq、PGNet、BertSum】
作者：互联网
FastSum是基于fastNLP开发的一套完整的文本摘要任务解决方案，包括数据加载、模型调用、模型评价三个部分。
FastSum中实现的模型包括：
- 基准模型 (LSTM/Transformer + SeqLab)
- Get To The Point: Summarization with Pointer-Generator Networks
- Extractive Summarization as Text Matching
- Text Summarization with Pretrained Encoders
提供了12个文本摘要任务的数据集：
| 名称 | 论文 | 类型 | 描述 |
|---|---|---|---|
| CNN/DailyMail | Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond | 新闻 | 修改了原本用于 passage-based question answering 任务的数据库。 CNN 和 DailyMail 的网站为每篇文章都人工提供了一些要点信息总结文章。而且这些要点是抽象的而非抽取式摘要形式。 微调 Teaching Machines to Read and Comprehend 的脚本之后，作者生成了一个 multi-sentence summary 的数据集合 |
| Xsum | Don’t Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization | 新闻 | article-single sentence summary 的数据集。在 BBC 上，每篇文章开头都附有人工撰写的摘要，提取即可 |
| The New York Times Annotated Corpus | The New York Times Annotated Corpus | 新闻 | 人工撰写的摘要 |
| DUC | The Effects of Human Variation in DUC Summarization Evaluation | 新闻 | 2003 和 2004 Task1 都是对每个 doc 生成一段摘要 |
| arXiv PubMed | A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents | 科学著作 | 从 arXiv 和 PubMed 获取的长篇文档的摘要，论文的 abstract 部分作为摘要的 ground-truth。 |
| WikiHow | WikiHow: A Large Scale Text Summarization Dataset | 知识库 | [WikiHow 有一个关于“怎么做”的数据库，每个步骤描述是由一段加粗摘要以及详细步骤叙述组成。作者把每个步骤的加粗摘要合并作为最终摘要，每步的剩余部分进行合并组成 article。 |
| Multi News | Multi-News: a Large-Scale Multi-Document Summarization Dataset and Abstractive Hierarchical Model | 新闻、多文本摘要 | 数据集由新闻文章和这些文章的人工摘要组成，这些文章来自 newser.com 网站。每一篇摘要都是由专业编辑撰写的，并包含到引用的原始文章的链接。 |
| BillSum | BillSum: A Corpus for Automatic Summarization of US Legislation | 法案文本 | 数据是选自美国国会和加利福尼亚州立法机构的法案文本，人为编写的摘要。 |
| AMI | The AMI meeting corpus: a pre-announcement | 会议 | AMI会议语料库是一种多模式数据集，包含100小时的会议多模式记录。本语料库为每个单独的讲话者提供了高质量的人工记录，还包含了抽取式摘要、生成式摘要、头部动作、手势、情绪状态等。 |
| ICSI | ICSI Corpus | 会议 | ICSI会议语料库是一个音频数据集，包含大约70个小时的会议记录。包含了抽取式摘要和生成式摘要。 |
| Reddit TIFU | Abstractive Summarization of Reddit Posts with Multi-level Memory Networks | 在线讨论 | 通过从 Reddit 爬取数据，作者生成了两套摘要：用原帖的 title 作为 short summary，TL;DR summary 作为 long summary。 |
| SAMSum | SAMSum Corpus: A Human-annotated Dialogue Dataset for Abstractive Summarization | 对话 | 对话由语言学家根据日常对话写成，之后由语言学家标注摘要。 |
| 名称 | 论文 | 类型 | 描述 |
| CNN/DailyMail | Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond | 新闻 | 修改了原本用于 passage-based question answering 任务的数据库。 CNN 和 DailyMail 的网站为每篇文章都人工提供了一些要点信息总结文章。而且这些要点是抽象的而非抽取式摘要形式。 微调 Teaching Machines to Read and Comprehend 的脚本之后，作者生成了一个 multi-sentence summary 的数据集合 |
| Xsum | Don’t Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization | 新闻 | article-single sentence summary 的数据集。在 BBC 上，每篇文章开头都附有人工撰写的摘要，提取即可 |
| The New York Times Annotated Corpus | The New York Times Annotated Corpus | 新闻 | 人工撰写的摘要 |
参考资料：
预训练编码器文本摘要
FastSum：基于fastNLP开发的文本摘要解决方案
标签：Summarization,模型,摘要,Seq2Seq,summary,文章,Corpus,文本,FastSum 来源： https://blog.csdn.net/u013250861/article/details/123139980