其他分享
首页 > 其他分享> > 从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering)

从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering)

作者:互联网

从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering)

作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/

    想要了解对比聚类,首先应该清楚对比学习的整个过程。最经典的对比学习的文章是Hinton团队提出的SimCLR,该方法首先将一个实例(图像)变换成两种不同的增广实例(图像),然后用神经网络训练得到投影表示,用余弦相似性求出两两投影表示之间的相似性,并最大化相同实例投影表示之间的一致性。而对比聚类(CC)完全借鉴SimCLR的思想,唯一的区别是之前的对比学习是实例层面的,横向进行对比,而CC则添加了一个聚类层面的对比学习,纵向进行对比。通过同时最小化两个层面的损失函数,最终得到聚类层面上的网络权重,进而得到划分结果。

1. 对比学习

2. 对比聚类

CC创新:

思考:

    对比聚类中用红色方框框出来的就是不同于SimCLR的地方,如果去掉红框的内容,那就完全是SimCLR。以往都是在行空间上进行对比学习,CC的创新之处在于引入列空间上的对比学习(矩阵大小为:样本数*聚类个数)。但列空间上的对比学习的损失函数与SimCLR完全一致,没有任何改进。对比学习主要目的是最大化同一实例之间的相似性,而最小化不同实例之间的相似性。总体来说,该算法最适用于图像类型的数据,因为刚开始涉及到随机变换函数是对图像进行一系列变换操作。本人理解有限,欢迎指正。

3. 采用最近邻进行语义聚类(SCAN)

    在没有真实标注的情况下,我们是否能自动将图像划分为语义意义上的簇?无监督图像分类在计算机视觉领域仍然是一个重要的开放的挑战性任务。最近有几种方法试图以端到端的方式解决这个问题。在这篇论文中,通过两步的方法进行聚类,其中特征学习和聚类是分开进行的。首先,利用表征学习的自监督任务来获取语义特征。其次,在可学习的聚类方法中,使用获得的特征作为先验。在此过程中,去掉了依赖于底层特征的聚类学习能力,这在当前的端到端学习方法中是存在的。具体来看该算法Semantic Clustering by Adopting Nearest neighbors (SCAN)。

4. 参考

[1] Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton. A Simple Framework for Contrastive Learning of Visual Representations, ICML, 2020.

Paper: http://proceedings.mlr.press/v119/chen20j.html

Code: https://github.com/google-research/simclr

[2] Yunfan Li, Peng Hu, Zitao Liu, Dezhong Peng, Joey Tianyi Zhou, Xi Peng, Contrastive Clustering, AAAI, 2021.

Paper: http://pengxi.me/wp-content/uploads/2020/12/2021AAAI-CC.pdf

Code: https://github.com/XLearning-SCU/2021-AAAI-CC

彭玺老师报告视频(从第21分钟开始看):https://www.bilibili.com/video/BV1Ny4y127v6

[3] CCF A类会议AAAI 2021论文收录结果出炉:我院彭玺教授有两篇论文入选 http://cs.scu.edu.cn/info/1246/15202.htm

[4] The Illustrated SimCLR Framework - Amit Chaudhary https://amitness.com/2020/03/illustrated-simclr/

[5] Van Gansbeke W., Vandenhende S., Georgoulis S., et al. SCAN: Learning to Classify Images Without Labels. ECCV 2020. 

Paper: https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123550273.pdf

Code: https://github.com/wvangansbeke/Unsupervised-Classification

标签:Clustering,SimCLR,Contrastive,学习,https,聚类,com,对比
来源: https://blog.csdn.net/c2a2o2/article/details/118990643