文章目录ContrastiveClustering文章介绍问题背景拟解决问题联合优化的应用主要贡献相关工作对比学习深度聚类实例级和聚类级的含义提出的方法模型结构PCB模块ICH模块CCH模块算法流程损失构建实验数据集介绍实验结果类簇演化过程数据增强的消融实验两种对比方式的消融实验不同数据增强方式的消融实验ContrastiveClustering文章介绍出处：AAAI-2021摘要：本文提出了一种称为对比聚类（CC）的单阶段在线聚类方法，该方法采用实例级和聚类级的对比学习。具体来说，对于给定的数据集，正实例对和负实例对是通过数据扩充构建然后投影到特征空间中。其中，实例级和聚类级对比学习分别在行

1.前言1.1.为什么要进行自监督学习       我们知道，标注数据总是有限的，就算ImageNet已经很大，但是很难更大，那么它的天花板就摆在那，就是有限的数据总量。NLP领域目前的经验应该是：自监督预训练使用的数据量越大，模型越复杂，那么模型能够吸收的知识越多，对下游任务效果来说越好。这可能是自从Bert出现以来，一再被反复证明的真理，如果它不是唯一的真理，那也肯定是最大的真理。图像领域如果技术想要有质的提升，可能也必须得走这条路，就是充分使用越来越大量的无标注数据，使用越来越复杂的模型，采用自监督预训练模式，来从中吸取图像本身的先验知识分布，在下游任务中通过Fine-tuning，来把

CLIP（ContrastiveLanguage-ImagePre-Training）:利用文本的监督信号训练一个迁移能力强的视觉预训练模型通过对比学习,训练得到图片和文本的相似度,传闻使用4亿个配对的数据和文本来进行训练,不标注直接爬取的注意:由于训练数据基本都是英文,对英文支持的比较好用途:CLIP主要是用来做图片分类(计算图片和文本的相似度(关联度)),也可以辅助做GAN,检测,分割,检索等等以往我们训练一个猫狗分类模型，换一个线条猫，点云猫，油画猫，穿着奇装异服的猫，分类网络很难还认识，但是现在只要加上一个CLIP，模型马上就被扩展了.CLIP是如何训练的:CLIP是如何进行推理的:可

CLIP（ContrastiveLanguage-ImagePre-Training）:利用文本的监督信号训练一个迁移能力强的视觉预训练模型通过对比学习,训练得到图片和文本的相似度,传闻使用4亿个配对的数据和文本来进行训练,不标注直接爬取的注意:由于训练数据基本都是英文,对英文支持的比较好用途:CLIP主要是用来做图片分类(计算图片和文本的相似度(关联度)),也可以辅助做GAN,检测,分割,检索等等以往我们训练一个猫狗分类模型，换一个线条猫，点云猫，油画猫，穿着奇装异服的猫，分类网络很难还认识，但是现在只要加上一个CLIP，模型马上就被扩展了.CLIP是如何训练的:CLIP是如何进行推理的:可

深度学习的本质就是做两件事情：RepresentationLearning（表示学习）和InductiveBiasLearning（归纳偏好学习）。要说到对比学习，首先要从自监督学习开始讲起。自监督学习属于无监督学习范式的一种，特点是不需要人工标注的类别标签信息，直接利用数据本身作为监督信息，来学习样本数据的特征表达，并用于下游任务。image.pngGenerativeMethods（生成式方法）这类方法以自编码器为代表，主要关注pixellabel的loss。举例来说，在自编码器中对数据样本编码成特征再解码重构，这里认为重构的效果比较好则说明模型学到了比较好的特征表达，而重构的效果通过pi

深度学习的本质就是做两件事情：RepresentationLearning（表示学习）和InductiveBiasLearning（归纳偏好学习）。要说到对比学习，首先要从自监督学习开始讲起。自监督学习属于无监督学习范式的一种，特点是不需要人工标注的类别标签信息，直接利用数据本身作为监督信息，来学习样本数据的特征表达，并用于下游任务。image.pngGenerativeMethods（生成式方法）这类方法以自编码器为代表，主要关注pixellabel的loss。举例来说，在自编码器中对数据样本编码成特征再解码重构，这里认为重构的效果比较好则说明模型学到了比较好的特征表达，而重构的效果通过pi