自监督表征预训练之掩码图像建模前言目前，在计算机视觉领域，自监督表征预训练有两个主流方向，分别是对比学习（contrastivelearning）和掩码图像建模（maskedimagemodeling）。两个方向在近几年都非常火爆，有许多优秀的工作涌现。对比学习方向，有MoCo系列、SimCLR系列、SWaV、SimSiam、DINO等；掩码图像建模方向，有BEIT系列、MAE、CAE等。本文主要整理几篇掩码图像建模方向的工作。在自然语言处理领域，BERT提出的掩码语言建模（maskedlanguagemodeling）作为一种表征学习预训练方法，已经取得了巨大的成功。那么，在计算机视觉领域，
寻找领域不变量：从生成模型到因果表征1领域不变的表征在迁移学习/领域自适应中，我们常常需要寻找领域不变的表征(Domain-invariantRepresentation)[1]，这种表示可被认为是学习到各领域之间的共性，并基于此共性进行迁移。而获取这个表征的过程就与深度学习中的“表征学习”联系紧密[2]。生成模型，自监督学习/对比学习和最近流行的因果表征学习都可以视为获取良好的领域不变表征的工具。2生成模型的视角生成模型的视角是在模型中引入隐变量(LatentVariable)，而学到的隐变量为数据提供了一个隐含表示(LatentRepresentation)。如下图所示[3]，生成模型描述
寻找领域不变量：从生成模型到因果表征1领域不变的表征在迁移学习/领域自适应中，我们常常需要寻找领域不变的表征(Domain-invariantRepresentation)[1]，这种表示可被认为是学习到各领域之间的共性，并基于此共性进行迁移。而获取这个表征的过程就与深度学习中的“表征学习”联系紧密[2]。生成模型，自监督学习/对比学习和最近流行的因果表征学习都可以视为获取良好的领域不变表征的工具。2生成模型的视角生成模型的视角是在模型中引入隐变量(LatentVariable)，而学到的隐变量为数据提供了一个隐含表示(LatentRepresentation)。如下图所示[3]，生成模型描述
摘要：详细讲解DeepWalk，通过随机游走的方式对网络化数据做一个表示学习，它是图神经网络的开山之作，借鉴了Word2vec的思想。本文分享自华为云社区《[论文阅读](25)向量表征经典之DeepWalk：从Word2vec到DeepWalk，再到Asm2vec和Log2vec》，作者：eastmount。一.图神经网络发展历程在介绍向量表征之前，作者先结合清华大学唐杰老师的分享，带大家看看图神经网络的发展历程，这其中也见证了向量表征的发展历程，包括从Word2vec到Deepwalk发展的缘由。图神经网络的发展历程如下图所示：（1）Hinton早期（1986年）图神经网络最早也不是这样的，
摘要：详细讲解DeepWalk，通过随机游走的方式对网络化数据做一个表示学习，它是图神经网络的开山之作，借鉴了Word2vec的思想。本文分享自华为云社区《[论文阅读](25)向量表征经典之DeepWalk：从Word2vec到DeepWalk，再到Asm2vec和Log2vec》，作者：eastmount。一.图神经网络发展历程在介绍向量表征之前，作者先结合清华大学唐杰老师的分享，带大家看看图神经网络的发展历程，这其中也见证了向量表征的发展历程，包括从Word2vec到Deepwalk发展的缘由。图神经网络的发展历程如下图所示：（1）Hinton早期（1986年）图神经网络最早也不是这样的，
Theartofbeingwiseistheartofknowingwhattooverlook.智慧的艺术是知道该忽视什么。——威廉·詹姆斯（WilliamJames）1导引1.1跨域推荐简介推荐系统中常常面临用户冷启动问题[1]，也即新注册的用户没有足够的交互记录，导致推荐模型不能学习到有效的表征。为了解决用户冷启动问题，近年来跨域推荐（CDR）得到了许多关注[2]。一般来讲，跨域推荐旨在利用从其它相关源域收集的用户-物品交互信息以提升目标域的推荐质量。许多跨域推荐的工作会假设大量的用户在两个域都出现过（即重叠用户,overlappingusers）以搭建起源域和目标域之间的桥梁。只在源域
Theartofbeingwiseistheartofknowingwhattooverlook.智慧的艺术是知道该忽视什么。——威廉·詹姆斯（WilliamJames）1导引1.1跨域推荐简介推荐系统中常常面临用户冷启动问题[1]，也即新注册的用户没有足够的交互记录，导致推荐模型不能学习到有效的表征。为了解决用户冷启动问题，近年来跨域推荐（CDR）得到了许多关注[2]。一般来讲，跨域推荐旨在利用从其它相关源域收集的用户-物品交互信息以提升目标域的推荐质量。许多跨域推荐的工作会假设大量的用户在两个域都出现过（即重叠用户,overlappingusers）以搭建起源域和目标域之间的桥梁。只在源域
识别和生成是人工智能领域中的两大核心任务，如果能将二者合并到一个统一的系统中，这两个任务应该能实现互补。事实上，在自然语言处理中，像BERT[1]这样的模型不仅能够生成高质量的文本，还能够提取文本中的特征。然而，在计算机视觉领域，目前的图像生成模型和识别模型大多是分开进行训练，没有充分利用这两个任务的协同作用。这主要是由于图像生成和图像识别的模型通常具有本质上的结构差异：图像生成的输入是低维度的特征或噪声，而输出是高维度的原始图像；与之相反，图像识别的输入是高维度的原始图像，而输出是低维度的特征。最近，来自MIT和GoogleResearch的研究人员提出了一种基于图像语义符掩码的表征学习方法
识别和生成是人工智能领域中的两大核心任务，如果能将二者合并到一个统一的系统中，这两个任务应该能实现互补。事实上，在自然语言处理中，像BERT[1]这样的模型不仅能够生成高质量的文本，还能够提取文本中的特征。然而，在计算机视觉领域，目前的图像生成模型和识别模型大多是分开进行训练，没有充分利用这两个任务的协同作用。这主要是由于图像生成和图像识别的模型通常具有本质上的结构差异：图像生成的输入是低维度的特征或噪声，而输出是高维度的原始图像；与之相反，图像识别的输入是高维度的原始图像，而输出是低维度的特征。最近，来自MIT和GoogleResearch的研究人员提出了一种基于图像语义符掩码的表征学习方法
