首页 > TAG信息列表 > ner
NER技术总结
NER技术是工业界落地比较多的NLP技术，文本数据的结构化都依赖NER技术，本文总结下常用的NER技术。 一、词典匹配 词典匹配是工业界最常用的NER技术，尤其是垂直领域的NER任务。词典匹配的优点是速度快，可解释性强，且精度高。但是词典无法解决歧义性问题，为了降低词典匹配的歧义性问题，论文阅读-Distantly Supervised Named Entity Recognition via Confidence-Based Multi-Class Positive and Unl
题目：基于置信度的多类正无标记学习的远程监督命名实体识别 论文地址：https://openreview.net/pdf?id=0gYkM3fk9Bb 源码地址：https://github.com/kangISU/Conf-MPU-DS-NER 摘要： 本文研究了远程监控下的命名实体识别问题。由于外部词典和/或知识库的不完整性，这种远距离注释的训Raki的读paper小记：Unified Named Entity Recognition as Word-Word Relation Classification
Abstract & Introduction & Related Work 研究任务 NER同一建模模型（flat，nested，discontinuous） 已有方法和相关工作 序列标注基于超图的方法seq2seq方法基于span的方法现有方法focus如何准确识别实体边界 面临挑战 在推理过程中同时存在假结构和结构模糊的问题解码效Raki的读paper小记：Named Entity Recognition without Labelled Data: A Weak Supervision Approach（半成品）
Abstract & Introduction & Related Work 研究任务 无标注数据NER学习已有方法和相关工作 Unsupervised domain adaptationAggregation of annotationsWeak supervision 面临挑战 他们的方法依赖于一个临时的机制，用于生成候选span来进行分类 创新思路 提出一种弱监Raki的读paper小记：通过教师-学生模型在目标语言上的无标注数据上学习来实现单源/多源跨语言NER任务 from ACL2020
Single-/Multi-Source Cross-Lingual NER via Teacher-Student Learning on Unlabeled Data in Target Language 不要问我为什么改成了中文名，因为标题名字太长了！！ Abstract & Introduction & Related Work 研究任务 通过教师-学生模型在目标语言上的无标注数据上学习来实现单BERT-MRC：统一化MRC框架提升NER任务效果
©原创作者 | 疯狂的Max 01 背景 命名实体识别任务分为嵌套命名实体识别（nested NER）和普通命名实体识别（flat NER），而序列标注模型只能给一个token标注一个标签，因此对于嵌套NER任务，需要使用两个以上的序列标注模型来完成标注任务。 为了解决这一问题大部分人[1][2][3]用pipelined sysalbert+crf中文实体识别
albert-crf 项目地址：https://github.com/jiangnanboy/albert_crf 概述 利用huggingface/transformers中的albert+crf进行中文实体识别 利用albert加载中文预训练模型，后接一个前馈分类网络，最后接一层crf。利用albert预训练模型进行fine-tune。 整个流程是： 数据经albert后获取最后『NLP学习笔记』BERT命名实体识别(NER)实战
BERT命名实体识别(NER)实战！ 文章目录 一. 数据集介绍二. 数据集读取&预处理三. 数据分词tokenizer四. 定义数据读取(继承Dataset)五. 定义模型&优化器&学习率六. 训练测试以及准确率七. 模型预测八. 整个代码八. 参考 BERT技术详细介绍： https://zhangkaifang.blog.csdnKBQA学习记录-NER训练及验证
目录 1.前提 2.模型训练整体流程 3.模型验证函数 4.打印结果并保存模型 1.前提 我们已经准备好了训练和验证数据，这些数据原来是文本，之后被转为了id，又加了padding，构造成为了特征，又通过类存储起来，实例化之后，通过类.input_ids，类.token_type_ids等方式，被调用，并存在了列表中，转为了t预训练模型：一种低资源实体NER标注的方法
前言 今天介绍一篇最新的NER预训练模型paper~ 有关于在预训练模型上面训练命名实体识别(NER)有关的任务，这方面的研究还不多，注意不是NER fintune，是NER pretrain，主要的原因就是这面的数据集很少，即使有一个的数据集，但是其标注的质量也不高，为此本文主要贡献就是制作了一个比较大的且TENER: Adapting Transformer Encoder for Named Entity Recognition
论文地址：https://arxiv.org/pdf/1911.04474.pdf 代码地址：GitHub - fastnlp/TENER: Codes for "TENER: Adapting Transformer Encoder for Named Entity Recognition" Transformer编码器用于命名实体识别。来自复旦大学邱锡鹏团队。HanLP中文分词、人名识别、地名识别
HanLP中文分词、人名识别、地名识别 实验目的 从网上下载和安装HanLP自然语言处理包;熟悉HanLP自然语言处理包的基本功能;利用网络爬虫获取的信息，调用HanLP的API，进行中文分词、人名识别、地名识别. 研究背景 随着互联网和信息技术的快速发展，网络中产生了海量的文本信息，但是这NER中的一些编码器与解码器
文章目录 参考编码LR-CNNFLAT 解码GlobalPointer 本篇文章是命名实体识别（NER）算法的进一步介绍，主要内容是介绍一些编码器与解码器，作为上一篇内容的补充。 参考 中文NER的正确打开方式: 词汇增强方法总结 (从Lattice LSTM到FLAT) GlobalPointer：用统一的方式处理嵌套和非嵌【小白学】看懂文章后，该如何做到较完美的论文汇报？
【小白学】看懂文章后，该如何做到较完美的论文汇报？ 依次按照以下几点（问题引入、模型概述、细节阐述、总体回顾、结果验证、展望未来）汇报文献内容 1) 问题引入：首先从问题背景（研究背景）出发，（以NER为例）可以先介绍什么是命名实体识别和与其相关的一些基础知识（结合一些直观的例子）。然中文NER的那些事儿5. Transformer相对位置编码&TENER代码实现
这一章我们主要关注transformer在序列标注任务上的应用，作为2017年后最热的模型结构之一，在序列标注任务上原生transformer的表现并不尽如人意，效果比bilstm还要差不少，这背后有哪些原因? 解决这些问题后在NER任务上transformer的效果如何？完整代码详见ChineseNER Transformer水土不服【论文阅读】Joint_Self-Attention_and_Multi-Embeddings_for_Chinese_Named_Entity_Recognition[BigCom2020]
论文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9160451 代码地址： Abstract 命名实体识别（NER）是自然语言处理（NLP）中的一项基本任务，但由于汉语的特殊性和复杂性，在汉语中的命名实体识别仍具有较大的挑战性。传统的中文命名实体识别（Chinese NER）方法需要繁琐的特征【论文阅读】Exploiting Multiple Embeddings for Chinese Named Entity Recognition[ACM2019]
论文地址：https://arxiv.org/pdf/1908.10657.pdf 代码地址(Keras)：https://github.com/WHUIR/ME-CNER ABSTRACT 识别文本中提到的命名实体将丰富下游级别的许多语义应用程序。然而，由于微博中主要使用口语，与正式中文语料库中的命名实体识别相比，中文微博中的命名实体识别（NER）的性能显著ElasticSearch修改多层结构中的数据附java代码
需求： 多层级关系，需要修改es_KIE下medical_ner,case_info中字段的值 参考网上帖子修改的写法： request.index(esInfo.getIndex()) //索引名 .id(timelineSearch.getId())//id .doc( XContentFactory.jsonBuilder()【论文阅读】MECT: Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition
论文地址：https://aclanthology.org/2021.acl-long.121.pdf 代码地址：https://github.com/CoderMusou/MECT4CNER Abstract 近年来，在中文命名实体识别（NER）中，词语增强已成为一种非常流行的方法，它可以减少切分错误，增加中文词语的语义和边界信息。然而，这些方法在整合了词汇信息之后，往往忽NER(HMM实现)
1.数据 数据部分需要两个文件，一个是字符转化成索引的字典char2id.json，一个是用来训练的语料data.json。 char2id.json字典格式如下 {"UNK": 0, "淖": 20, "箩": 21, "雨": 22, "漳": 23,...} data.json语料格式如下 [{"text": ["迈", "向", &论文解读：ACL2021 NER | 基于模板的BART命名实体识别
摘要：本文是对ACL2021 NER 基于模板的BART命名实体识别这一论文工作进行初步解读。 本文分享自华为云社区《ACL2021 NER | 基于模板的BART命名实体识别》，作者： JuTzungKuei 。 论文：Cui Leyang, Wu Yu, Liu Jian, Yang Sen, Zhang Yue. TemplateBased Named Entity Recognition UsingNER为什么那么难
命名实体识别(Name Entity Recognition) 是自然语言处理中一个比较基础的问题。要解决的问题是，从unstructure的文本当中找到实体并归类。当然我这么定义已经有了一定的bias，认为是先找实体在归类，但实现过程则并不一定如此。 定义一般来说都比较抽象，我们举一些例子来理解一下NERNLP 中的通用数据增强方法及针对 NER 的变种
本文结合 A Visual Survey of Data Augmentation in NLP 和最新的综述论文 A Survey of Data Augmentation Approaches for NLP，大致总结了目前 NLP 领域的通用数据增强方法和几种针对如 NER 的序列标注模型进行适配的变种方法，关于后者，重点介绍了基于 mixup 改进的 SeqMix 方【论文阅读】Infomation Extraction from English & Japanese Resume with Neural Sequence Labelling Methods[AN
论文地址：https://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/P10-5.pdf 代码地址： Abstract We prepare our own annotated resume datasets for both English and Japanese. There are token/phrase level labels and sentence/paragraph level labels.初步实验表明，有必要未标注目标语料是否均适合用于跨语言学习?『基于对抗判别器高效利用未标注语料的跨语言NER算法AdvPicker』
本文公式较多，建议转至博客阅读 (再过几个小时今年的 ACL 就要来了，赶在 ddl 之前， 简单介绍一下韦乐，我，千惠，Börje，Yi Guan 等人在 ACL21 上的这篇工作。 AdvPicker: Effectively Leveraging Unlabeled Data via Adversarial Discriminator for Cross-Lingual NER (ACL-IJCNLP 20