知识图谱第三方工具
作者:互联网
DeepKE
DeepKE 是一个基于深度学习的开源中文知识图谱抽取框架,支持低资源、长篇章的知识抽取工具,支持命名实体识别、关系抽取和属性抽取功能。
- DeepKE为三个知识抽取功能(命名实体识别、关系抽取和属性抽取)设计了一个统一的框架
- 可以在不同场景下实现不同功能。比如,可以在标准全监督、低资源少样本和文档级设定下进行关系抽取
- 每一个应用场景由三个部分组成:Data部分包含Tokenizer、Preprocessor和Loader,Model部分包含Module、Encoder和Forwarder,Core部分包含Training、Evaluation和Prediction
OpenUE
OpenUE主要架构
1、models 模块
其存放了我们主要的三个模型,针对整句的关系识别模型,针对已知句中关系的命名实体 识别模型,还有将前两者整合起来的推理验证模型。
2、lit_models 模块
其中的代码主要继承⾃pytorch_lightning.Trainer。其可以⾃动构建单卡,多卡,GPU,TPU 等不同硬件下的模型训练。
3、data 模块
data中存放了针对不同数据集进⾏不同操作的代码。使⽤了transformers库中的tokenizer先 对数据进⾏分词处理再根据不同需要将数据变成我们需要的features。
数据形式(json)
deepdive
deepdive是由斯坦福大学InfoLab实验室开发的一个开源知识抽取系统。它通过弱监督学习,从非结构化的文本中抽取结构化的关系数据 。是目前人工智能学习领域的一个热门项目。原文见http://deepdive.stanford.edu/
DeepDive是一个从暗数据(dark data)中提取价值的系统。
与暗物质(dark matter)一样,暗数据是隐藏在文本、表格、图形和图像中的大量数据,缺乏结构,因此基本上无法通过现有软件处理。
DeepDive通过从非结构化信息(文本文档)创建结构化数据(SQL表)并将这些数据与现有的结构化数据库集成,帮助揭示暗数据。
DeepDive用于提取实体之间复杂的关系,并对涉及这些实体的事实进行推断。
DeepDive帮助用户处理各种各样的暗数据,并将结果放入数据库。
有了数据库中的数据,人们可以使用各种标准工具来使用结构化数据;例如,可视化工具(如Tableau)或分析工具(如Excel)。
参考资料
Protégé
- 本体编辑器
- 基于RDF(S),OWL等语义网规范
- 图形化界面
- 提供了在线版本——WebProtégé
- 适用于原型构建场景
Protégé 的不足:
- 基本只提供单人编辑,在线版本的并发功能支持也不完善;并发编辑时需要通过文 件共享来实现;
- 因为基于单机构建,因此对大数据量支持不够,会出现内存溢出;
- 不支持时态、复杂事件、业务规则等的建模;
- 完全依靠人工,难以实现与知识图谱构建(半)自动化过程的交互。
建模预期成果
标签:结构化,抽取,DeepDive,图谱,知识,deepdive,数据,第三方 来源: https://www.cnblogs.com/-402/p/16449155.html