其实事实是这样的，老师这两天突然安排了一个对比学习的任务，其实我之前根本就没有接触过对比学习。所以只好现学现卖，然后顺便跟大家也分享一下我现学现卖的过程。提前说明我是搞文本的，并不是搞图像的，所以这个真的是现学现卖。如果有问题，欢迎大家批评指正。这部分主要讲MoCo的是和simCLR出来之前的一些工作，那个时候没有实现“大一统”。所以任务比较局限，也比较杂乱。**之后会更新后续部分一直更新到MAE（如果我有时间写的话）**。先来说一下大前提：预训练+微调的模式在图像领域已经应用很久了，但是在文本领域算是新起之秀。在之前的很长一段时间里，因为文本里没有像ImageNet那样大规模的带有标注的数据
