首页 > TAG信息列表 > SuperGLUE
SuperGlue源码学习（一）
后端的最优传输代码阅读 superglue.py 描述子和位置信息的获取 前面讲的很详细，这里可以清楚的看到，整个网络的流程 superglue代码中作者只是提供了已经训练好的权重文件和网络流程但是对于，训练的细节，代码也没有给出，后续我想自己设计一下loss试一下能不能自己训练，我看到今年的『论文笔记』SuperGlue
https://zhuanlan.zhihu.com/p/342105673 特征处理部分比较好理解，点的self、cross注意力机制实现建议看下源码（MultiHeadedAttention）， def attention(query, key, value): dim = query.shape[1] scores = torch.einsum('bdhn,bdhm->bhnm', query, key) / dim**.5 prob刷新50多个NLP任务基准，并登顶SuperGLUE全球榜首，百度ERNIE 3.0知识增强大模型显威力
近日，百度ERNIE升级到3.0，重磅发布知识增强的百亿参数大模型。该模型除了从海量文本数据中学习词汇、结构、语义等知识外，还从大规模知识图谱中学习。 ERNIE 3.0一举刷新54个中文NLP任务基准，其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上, 以超越人类水平0.8个百分点