首页 > TAG信息列表 > emb
2021SC@SDUSC-山东大学软件工程与实践-Senta(4)
SENTA通用规则中的类（代码分析） MaxTruncation:超长截断 class MaxTruncation(object): KEEP_HEAD = 0 KEEP_TAIL = 1 KEEP_BOTH_HEAD_TAIL = 2 KEEP_HEAD : 从头开始到最大长度截断 KEEP_TAIL : 从头开始到max_len-1的位置截断，末尾补上最后一个id（词或字） K对比损失的PyTorch实现详解
对比损失的PyTorch实现详解 本文以SiT代码中对比损失的实现为例作介绍。 论文：https://arxiv.org/abs/2104.03602 代码：https://github.com/Sara-Ahmed/SiT 对比损失简介 作为一种经典的自监督损失，对比损失就是对一张原图像做不同的图像扩增方法，得到来自同一原图的两张输入图像AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
https://arxiv.org/pdf/2010.11929.pdf --------------------------------------------------------- 2021-08-30 transformer缺少cnn的平移不变性，局部性：大规模数据集预训练可解决 class PatchEmbeddin(nn.Module): def __init__(selfTask06 基于图神经网络的图表征学习方法
Task06 基于图神经网络的图表征学习方法 一、基于图神经网络的图表征学习方法 图表征学习要求在输入节点属性、边和边的属性（如果有的话）得到一个向量作为图的表征，基于图表征进一步的我们可以做图的预测。基于图同构网络（Graph Isomorphism Network, GIN）的图表征网络是当前最经图神经网络学习task06(基于图神经网络的图表示学习)
一、本阶段的组队学习网站地址：[datawhale] 二、本期主要学习内容： 学习基于图神经网络的图表征学习方法，图表征学习要求根据节点属性、边和边的属性（如果有的话）生成一个向量作为图的表征，基于图表征我们可以做图的预测。 这个学习和前面不同之处，前面主要是只学习一个节点的特征，然Task06：基于图神经网络的图表征学习方法
Task06：基于图神经网络的图表征学习方法 本文参考datawhale开源学习资料 一、基于图同构网络（GIN）的图表征网络的实现 1. GINConv–图同构卷积层 提出图同构网络的论文是：How Powerful are Graph Neural Networks? ，可以参考【GNN】WL-test：GNN 的性能上界进行阅读。 图同构卷积层NLP word embedding汇总
Word Embedding 词嵌入，从字面意思理解其实不是很好懂，他本质是一个向量化Vectorization的过程，一个把文字文本转化成数字形式的方式。这样模型才能够处理和训练文本。 比如我有一句话I love you, 最简单的翻译成向量，那就是[0,1,2]，因为我的词库里暂时只有这三个词。接下来我想说推荐系统召回模型之YouTubeNet
召回的主要工作是从全体商品库中筛选出用户感兴趣的商品，此过程要求检索速度快，并且所检索出的商品与用户的历史行为和偏好相关。所以召回模型和特征都较为简单 1、问题建模 我们把推荐问题建模成一个“超大规模多分类”问题。即在时刻 tPython Json模块中dumps、loads、dump、load函数介绍
https://www.jb51.net/article/140151.htm import json name_emb = {'a': '1111', 'b': '2222', 'c': '3333', 'd': '4444'} jsDumps = json.dumps(name_emb) jsLoads = json.loads(js用tensorflow学习贝叶斯个性化排序(BPR)
在贝叶斯个性化排序(BPR)算法小结中，我们对贝叶斯个性化排序(Bayesian Personalized Ranking, 以下简称BPR)的原理做了讨论，本文我们将从实践的角度来使用BPR做一个简单的推荐。由于现有主流开源类库都没有BPR，同时它又比较简单，因此用tensorflow自己实现一个简单的BPR的算法，下面我们开推荐模型DeepCrossing: 原理介绍与TensorFlow2.0实现
DeepCrossing是在AutoRec之后，微软完整的将深度学习应用在推荐系统的模型。其应用场景是搜索推荐广告中，解决了特征工程，稀疏向量稠密化，多层神经网路的优化拟合等问题。所使用的特征在论文中描述为两个大类数值型（文中couting feature）和类别型。如下图 对于数值型特征可以直接拼接在E意图识别及槽填充联合模型cnn-seq2seq
此分类模型是来自序列模型Convolutional Sequence to Sequence Learning，整体构架如上图所示。 原论文是用来做语言翻译，这里我将稍微修改用来做问答中的slot filling和intent detection联合建模。 本项目中的图片和原始代码是改自https://github.com/bentrevett/pytransformer-encoder用于问答中的意图识别
一.利用transformer-encoder进行文本分类，用于在问答中的意图识别。 二.结构图 三.程序(完整程序:https://github.com/jiangnanboy/intent_classification/tree/master/transformer_encoder） import os import torch from torchtext import data,datasets from torchtext.data imQANet模型系列（1）
QANet模型系列（1） 学习机器阅读理解模型的时候，在GitHub上见到了一系列很好的NLP教程，大佬的博客地址在这里，有时间我会对这些文章进行翻译(已经申请，但是还没有回复)，对代码进行注释，当我本身也是自然语言处理方面的初学者，难免有很多错误，如果有朋友能够帮我指出，将非常感谢 ! 这里将python -Json模块dumps、loads、dump、load
1、json.dumps() json.dumps()用于将dict类型的数据转成str，因为如果直接将dict类型的数据写入json文件中会发生报错，因此在将数据写入时需要用到该函数。 import json name_emb = {'a':'1111','b':'2222','c':'3333','d':'4444'}读取文件
1.读取.gpickle文件 di_graph = nx.read_gpickle("/home/sidz/GEM/data/hep_th/graph.gpickle"） 2.读取emb文件 list_of_files = glob.glob("/home/jovyan/work/GEM/assets/0.4.2/sd_sample_real_re_social.emb") latest_file = max(list_of_files, key=os.path.pytorch使部分参数不更新
基本固定方法见：https://blog.csdn.net/guotong1988/article/details/79739775 今天想固定embedding，加了一句，搞了半天 self.emb.requires_grad=False 应该是 self.emb.weight.requires_grad=False 谨记谨记