Embedding

首页 > TAG信息列表 > Embedding

【论文笔记】LayoutLM：首次结合文本和版式信息的文档预训练模型

概述 LayoutLM是一个基于Bert，结合了文本和版式信息的文档预训练模型，在多个下游任务中都达到了当时SOTA的结果。模型模型的总体结构如图1所示：图1 LayoutLM总体结构 LayoutLM在Bert的基础上添加了2-D Position Embedding和Image Embedding（图中虽然没有1-D Position Embedding

（开集检测系列）OPEN-VOCABULARY OBJECT DETECTION VIA VISION AND LANGUAGE KNOWLEDGE DISTILLATION

不引入caption数据，使用coco数据集，使用CLIP 作为teacher模型蒸馏出Mask RCNN模型的检测能力（主要是训练出Mask RCNN能提取出类无关的box和该box的特征能和CLIP text embedding能很好的match），novel类检测能力通过伪novel类的框+推理时CLIP text embedding的进行分类引入 1、动机 1、

Feature-aware Diversified Re-ranking with Disentangled Representations for Relevant Recommendation

1. 总体　　本文分为两个部分，第一个部分DAE框架，用于学习iterm的embedding，第二个部分是rerank框架考虑 user_pref + relevance + diversity。 2. DAE框架　　在快手短视频中，存在item embedding 和 item feature 这两个特征是不统一的，本文通过DAE框架学习，通过MLP的映射，将两

MAMO: Memory-Augmented Meta-Optimization for Cold-start Recommendation阅读笔记

动机本文是2020年KDD上的一篇论文。当时的工作已经有不少方法使用元学习来缓解推荐系统冷启动问题，它们大部分都是基于MAML的，这种方法通常是为所有冷启动用户(物品)生成一个初始化向量，然后让这些冷启动用户(物品)经过少量训练就可以快速收敛到一个不错的值。但是上述这种方法会导

pytorch中nn.Embedding()的用法

记得在代码的开始引入 import torch import torch.nn as nn 举个常用的例子 #以下代码为pytorch的python代码 embedding = nn.Embedding(10, 3) print(embedding.weight) input = torch.LongTensor([[0, 2, 0, 5]]) print(input) print(embedd

Word Embedding

一、Embedding定义 Embedding在数学上表示一个maping, f: X -> Y，也就是一个function，其中该函数是injective（就是我们所说的单射函数，每个Y只有唯一的X对应，反之亦然）和structure-preserving (结构保存，比如在X所属的空间上X1 < X2,那么映射后在Y所属空间上同理 Y1 < Y2)。那么对于wor

获取Wikidata的所有properties及其embedding

获取Wikidata的所有properties：在https://query.wikidata.org/直接输入一下代码，可以获取wikidata知识图谱的所有properties，根据下面SPARQL语言可以获得properties的链接URL、ID、name、 description、label等，目前property的数量是10115个。 SELECT ?property ?propertyLabe

Zero Shot on the Cold-Start Problem: Model-Agnostic Interest Learning for Recommender Systems阅读笔记

动机本文是2021年CIKM上的一篇论文。目前主流解决推荐系统用户冷启动问题的方法有利用辅助信息以及元学习的方法，但是这些方法的局限是新用户的兴趣以及行为依旧是缺失的。语义知识和预训练好的embedding并不能改变推荐系统对新用户比老用户了解少的困境。作者提出了双塔模型MAIL

使用pytorch复现推荐模型-task3

一、经典召回模型虽然深度学习发展的非常火热，但是协同过滤、逻辑回归、因子分解机等传统推荐模型仍然凭借其可解释性强、硬件环境要求低、易于快速训练和部署等不可替代的优势，拥有大量适用的应用场景。传统推荐模型仍然是深度学习推荐模型的基础，如图1所示是传统推荐模型的演化关

Graph Embedding

Graph Embedding 基本概念 Graph Embedding 技术是一种将图的拓扑结构进行向量表示的方法，从而获取到网络关系信息，可应用于推荐等多种场景。计算节点在图中的空间特征的算法就是图嵌入(Graph Embedding)或网络嵌入(Network Embedding)。图嵌入的目标是将图中的节点表示为一个低维

MeLU Meta-Learned User Preference Estimator for Cold-Start Recommendation阅读笔记

动机本文是2019年KDD上的一篇论文。现有的推荐系统探索新用户偏好时，通常是向用户提供一系列物品作为候选池，然后根据用户在候选池中选择交互的物品提出推荐建议。这样的方法有一些局限性：1.对只有少量交互物品的用户提供的推荐较差。2.候选池中的物品可能并不能真正体现出用户的偏

Unsupervised Embedding Learning via Invariant and Spreading Instance Feature

1、gcn 图卷积神经网络是指在图结构中做卷积操作的神经网络，所以其输入输出的都是图结构，它解决的是对图中的节点进行分类的问题，其中仅有一小部分节点有标签（半监督学习）。假定每个节点有个V维向量，邻接矩阵是A，全图的节点特征X是N*C大小，即有N个节点则N行，仅有一层GCN，对于节点x1 1️⃣先进

transformer_bert学习

一、参考资料（1）github代码（2）详解transformer https://zhuanlan.zhihu.com/p/48508221 https://jalammar.github.io/illustrated-transformer/ （3）transformer位置向量是什么 https://zhuanlan.zhihu.com/p/338592312 (4)nlp中的mask https://zhuanlan.zhihu.com/p/139595546 (5)美团

VIT transformer 论文讲解

首先将图片分为16*16的小格如果直接将图片作为transformer的输入，会有一个问题，序列长度太大，vit将很多图片打成了16*16的patch ，将一个patch作为一个元素图片224*224 vit 的全局图 vit = position embedding + class embedding + patch + transformer 也可以用global av

文本预处理

文本预处理通常包括四个步骤：读入文本分词(Tokenization) 建立词典(vocab)，将每个词映射到唯一的索引(index) 根据词典，将文本序列转为索引序列，方便输入模型建立词向量矩阵读入文本 class ZOLDatesetReader: @staticmethod def __data_Counter__(fnames):

nlp Embedding改进CBOW

Embedding改进CBOW 假设词汇量为 100 万个时的 CBOW 模型如下，输入层和输出层存在 100 万个神经元。下面两个问题导致耗时严重。问题一、输入层的 one-hot 表示和权重矩阵的乘积。one-hot 表示占用内存过多，计算 one-hot 表示与权重矩阵的乘积，需要花费大量时间。问题二、

TF211——字母预测Embedding_4pre1.md

TF211——字母预测Embedding_4pre1.md 用RNN实现输入连续四个字母，预测下一个字母（Embedding编码）按照六步法，首先import相关模块这次我们将字母扩展到了26个，字母从a到建立了一个映射表，把字母用数字表示从0-25，建立了两个空列表，一个存放训练用的输入特征x_train 另一个存放训练用

#Reading Paper# Learning Graph Meta Embeddings for Cold-Start Ads in Click-Through Rate Prediction

#论文题目：Learning Graph Meta Embeddings for Cold-Start Ads in Click-Through Rate Prediction（基于图神经网络和元学习的冷启动推荐算法） #论文地址：https://arxiv.org/abs/2105.08909 #论文发表网站：https://dl.acm.org/doi/10.1145/3404835.3462879 #论文源码开源地址：https

李宏毅机器学习课程-UnsupervisedLearning0224

B站李宏毅2021春机器学习课程 P32 P33 目录 1、Word Embedding 2、Spatial Transformer Layer 1、Word Embedding 2、Spatial Transformer Layer Interpolation：

双塔DNN召回模型/DSSM/HNSW算法

参考这篇文章： https://zhuanlan.zhihu.com/p/128988454 《谷歌最新双塔DNN召回模型——应用于YouTube大规模视频推荐场景》 https://zhuanlan.zhihu.com/p/93257390 《向量化召回在360信息流广告的实践》先是第一篇： https://zhuanlan.zhihu.com/p/128988454 上述模型训

DIN模型

我们先看base模型在DIN出现之前，推荐系统或者广告系统的做法通常是将高维的稀疏输入通过一个embedding层转化为低维稠密的特征表示，之后将同类的embedding特征通过pooling的方式（sum pooling或者avg pooling）转化为固定长度的特征（embedding+pooling这两步在笔者看来其实等价于一个

The plugins `XXXXX` use a deprecated version of the Android embedding

问题： The plugins `permission_handler, shared_preferences` use a deprecated version of the Android embedding. To avoid unexpected runtime failures, or future build failures, try to see if these plugins support the Android V2 embedding. Otherwise, consider

Code Review for PyTorch -- Embedding

一个小例子 # 1. An Embedding module containing 7 tensors of size 3 embedding = nn.Embedding(7, 3) # A batch of 2 samples of 4 indices each input = torch.LongTensor([[1, 2, 4, 5], [4, 3, 2, 6]]) # 2 x 4 print(embedding(input).size(