首页 > TAG信息列表 > SimCSE
SimCSE的loss实现-tensorflow2
对比学习的核心就是loss的编写，记录下loss的tensorflow实现 def unsupervise_loss(y_pred, alpha=0.05): idxs = tf.range(y_pred.shape[0]) y_true = idxs + 1 - idxs % 2 * 2 y_pred = tf.math.l2_normalize(y_pred, dim = 1) similarities = tf.matmul(y_pred,SimCSE: Simple Contrastive Learning of Sentence Embeddings(EMNLP 2021)
SimCSE: Simple Contrastive Learning of Sentence Embeddings(EMNLP 2021) Motivation 无监督的SimCSE将句子过两次预训练模型得到两个不同的embedding作为正例对，将同一batch中的其他句子作为负例，模型在所有负例中预测出唯一的正例。有监督的SimCSE使用NLI数据，将蕴含关系对超细节的对比学习和SimCSE知识点
2020年的Moco和SimCLR等，掀起了对比学习在CV领域的热潮，2021年的SimCSE，则让NLP也乘上了对比学习的东风。下面就尝试用QA的形式挖掘其中一些细节知识点，去更好的理解对比学习和SimCSE。 1、如何去理解对比学习，它和度量学习的差别是什么？ 2、对比学习中一般选择一个batch中的所有【自然语言处理】【对比学习】SimCSE：基于对比学习的句向量表示
一、简介 学习通用句嵌入向量是一个NLP的基础问题。本文通过对比学习的方式实现了SOTA句嵌入向量。具体来说，论文提出了称为 SimCSE(Simple Contrastive Sentence Embedding Framework) \text{S