jjzjj

Contrastive

全部标签

基于虚拟类别的小样本增量学习Semantic-Aware Virtual Contrastive Constraint 论文笔记 CVPR2023

CVPR2023论文地址:https://arxiv.org/abs/2304.00426v1代码地址:https://github.com/zysong0113/SAVC关键词Few-shotclass-incrementallearning(FSCIL):分类增量学习中的少样本情况问题。Baseclassseparation:基类间分离度的重要性。Semantic-awarevirtualcontrastivelearning:语义感知虚拟对比学习方法。Fantasyspace:通过虚拟类定义的“梦幻空间”。Virtualclass:定义转换后的虚拟类。Multi-viewinferenc

论文阅读 - Detecting Social Bot on the Fly using Contrastive Learning

目录 摘要: 引言3问题定义4CBD4.1框架概述4.2ModelLearning4.2.1通过GCL进行模型预训练 4.2.2通过一致性损失进行模型微调 4.3在线检测5实验5.1实验设置5.2性能比较5.5少量检测研究 6结论https://dl.acm.org/doi/pdf/10.1145/3583780.3615468  摘要:        社交机器人检测正在成为社会安全领域广泛关注的任务。一直以来,社交机器人检测技术的发展都因缺乏高质量的标注数据而受到阻碍。此外,人工智能生成内容(AIGC)技术的快速发展正在极大地提高社交机器人的创造力。例如,最近发布的ChatGPT[2]可以以

【论文笔记】SDCL: Self-Distillation Contrastive Learning for Chinese Spell Checking

文章目录论文信息Abstract1.Introduction2.Methodology2.1TheMainModel2.2ContrastiveLoss2.3ImplementationDetails(Hyperparameters)3.Experiments代码实现个人总结值得借鉴的地方论文信息论文地址:https://arxiv.org/pdf/2210.17168.pdfAbstract论文提出了一种token-level的自蒸馏对比学习(self-distillationcontrastivelearning)方法。1.Introduction传统方法使用BERT后,会对confusi

【论文阅读】Equivariant Contrastive Learning for Sequential Recommendation

【论文阅读】EquivariantContrastiveLearningforSequentialRecommendation文章目录【论文阅读】EquivariantContrastiveLearningforSequentialRecommendation1.来源2.介绍3.前置工作3.1序列推荐的目标3.2数据增强策略3.3序列推荐的不变对比学习4.方法介绍4.1顺序推荐的等变对比学习4.2轻度增强的学习不变性4.3侵入式增强的学习等变性4.4优化4.4.1模型训练和推理4.4.2模型复杂度5.实验5.1数据集5.2总的结果5.3时间复杂度分析6.总结1.来源2023-RecSyshtt

【论文阅读笔记】Supervised Contrastive Learning

【论文阅读笔记】SupervisedContrastiveLearning摘要自监督批次对比方法扩展到完全监督的环境中,以有效利用标签信息提出两种监督对比损失的可能版本介绍交叉熵损失函数的不足之处,对噪声标签的不鲁棒性和可能导致交叉的边际,降低了泛化能。监督对比损失:将同一类别的所有样本作为正样本,并将批次中其余部分的样本作为负样本进行对比自监督对比对比损失:将每一个锚点(图像的增强版本)与整个批次的其余样本形成的负样本集进行对比。通过黑白小狗照片的展示,考虑类别标签信息会导致嵌入空间中相同类别的元素比自监督情况下更加紧密地对齐自监督对比学习:在嵌入空间中将一个锚点和一个正样本拉在一起,并将锚

论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23)

论文链接Motivation:在推荐系统中,图神经网络在建模图结构数据上已经变成一个强有力的工具。但是现实生活的推荐语义通常涉及异质关系(像用户的社交关系,物品知识关系的依赖),这些都包含丰富的语义信息去提升表征能力的学习。同时,对比自监督学习在推荐系统中也取得了巨大进步。鉴于此,本文提出异质图对比学习[HeterogeneousGraphContrastiveLearning(HGCL)],它利用在不同角度的对比学习知识迁移把异质关系融合到用户-物品的交互建模中。由于用户和物品的异质关系对用户-物品交互的影响是不同的,所以在HGCL中关于自适应对比增强设计了元网络来做个性化知识转换。本文所面

论文阅读-Neighbor Contrastive Learning on Learnable Graph Augmentation(AAAI2023)

        人为设计的图增强,可能会破坏原始图的拓扑结构,同时相邻节点被视为负节点,因此被推离锚点很远。然而,这与网络的同质性假设是矛盾的,即连接的节点通常属于同一类,并且应该彼此接近。本文提出了一种端到端的自动GCL方法,称为NCLA,将邻居对比学习应用于可学习图增强。方案        通过多头图注意力机制自动学习具有自适应拓扑结构的多个图增强视图,可以在不需要先验领域知识的情况下兼容各种图数据集。        此外,设计了一种允许每个锚点有多个正信号的邻居对比损失。        大量实验表明,当标签非常有限时,NCLA在自监督GCL上产生了最先进的节点分类性能,甚至超过了监督GC

论文笔记:SUPERVISED CONTRASTIVE REGRESSION

2022arxiv的论文,没有中,但一作是P大图班本MIT博,可信度应该还是可以的0摘要深度回归模型通常以端到端的方式进行学习,不明确尝试学习具有回归意识的表示。它们的表示往往是分散的,未能捕捉回归任务的连续性质。在本文中,我们提出了“监督对比回归”(SupervisedContrastiveRegression,SupCR)的框架该框架通过将样本与目标距离进行对比来学习具有回归意识的表示。SupCR与现有的回归模型是正交的,并且可以与这些模型结合使用以提高性能。在涵盖计算机视觉、人机交互和医疗保健领域的五个真实世界回归数据集上进行的大量实验表明,使用SupCR可以达到最先进的性能,并且始终在

Curricular Contrastive Regularization for Physics-aware Single Image Dehazing (CVPR2023) 论文记录

基于课程对比正则化的物理感知单幅图像去雾算法(CVPR2023)CurricularContrastiveRegularizationforPhysics-awareSingleImageDehazing基于课程对比正则化的物理感知单幅图像去雾算法(CVPR2023)摘要一、课程学习二、对比学习三、对比正则化(CR)四、对比正则化存在的问题四、创新点:加入课程学习五、创新点:物理感知双分支单元六、总结CurricularContrastiveRegularizationforPhysics-awareSingleImageDehazing基于课程对比正则化的物理感知单幅图像去雾算法(CVPR2

【论文阅读】23_SIGIR_Disentangled Contrastive Collaborative Filtering(分离对比协同过滤)

【论文阅读】23_SIGIR_DisentangledContrastiveCollaborativeFiltering(分离对比协同过滤)文章目录【论文阅读】23_SIGIR_DisentangledContrastiveCollaborativeFiltering(分离对比协同过滤)1.来源2.介绍3.模型方法3.1分解的意图表示3.1.1建模潜在的意图因素3.1.2具有全局上下文的多意图表示3.2分离对比学习3.2.1解纠缠数据增强3.2.2对比学习3.3模型分析4.实验4.1数据集4.2评估指标和实验设置4.3实验结果(大表)5.总结1.来源2023—SIGIR论文地址code地址2.