本博客系本人阅读该论文，结合个人理解所写，非逐句翻译，欲知文章详情，请参阅论文原文。论文标题：AttentionBottlenecksforMultimodalFusion；作者：ArshaNagrani,ShanYang,AnuragArnab,ArenJansen,CordeliaSchmid,ChenSun,{anagrani,shanyang,aarnab,arenjansen,cordelias,chensun}@google.comGoogleResearch;出处：NIPS202代码地址：paperwithcode：AttentionBottlenecksforMultimoda
【最近课堂上Transformer之前的DL基础知识储备差不多了，但学校里一般讲到Transformer课程也接近了尾声；之前参与的一些科研打杂训练了我阅读论文的能力和阅读源码的能力，也让我有能力有兴趣对最最源头的论文一探究竟；我最近也想按照论文梳理一下LLM是如何一路发展而来的，所以决定阅读经典论文。本文是这个系列的第一篇。】Attentionisallyouneed 这篇文章提出了一个新的“简单的”架构、LLM的基石——Transformer，主要是针对机器翻译任务，当然后来就出圈了。在这篇文章之前，机器翻译的做法是Encoder+Decoder（端到端），其中Encoder和Decode
Multi-TaskLearningbasedVideoAnomalyDetectionwithAttentionAbstract1.Introduction2.Previouswork3.Method3.1.Multi-tasklearning3.2.Theappearance-motionbranch3.3.Themotionbranch3.4.Spatialandchannelattention3.5.Attentiontodistanceanddirection3.6.Inference4.Experimentsandresults4.1.Datasets4.2.Evaluationm
文章目录Multi-attentionalDeepfakeDetection背景创新贡献方法注意图正则化的区域独立性损失注意力引导的数据增强实验Multi-attentionalDeepfakeDetection来源：CVPR2021作者：HanqingZhao1WenboZhou1,†DongdongChen2TianyiWei1WeimingZhang1,†NenghaiYu1单位：UniversityofScienceandTechnologyofChina1MicrosoftCloudAI2邮箱：{zhq2015@mail,welbeckz@,bestwty@mail,zhangwm@
高效的记忆视觉transformer与级联的群体注意摘要。视觉transformer由于其高模型能力而取得了巨大的成功。然而，它们卓越的性能伴随着沉重的计算成本，这使得它们不适合实时应用。在这篇论文中，我们提出了一个高速视觉transformer家族，名为EfficientViT。我们发现现有的transformer模型的速度通常受到内存低效操作的限制，特别是在MHSA中的张量重塑和单元函数。因此，我们设计了一种具有三明治布局的新构建块，即在高效FFN层之间使用单个内存绑定的MHSA，从而提高了内存效率，同时增强了信道通信。此外，我们发现注意图在头部之间具有很高的相似性，从而导致计算冗余。为了
更精简的论文学习笔记1、摘要多模态学习中的注意力网络提供了一种选择性地利用给定视觉信息的有效方法。然而，学习每一对多模态输入通道的注意力分布的计算成本是非常昂贵的。为了解决这个问题，共同注意力为每个模态建立了两个独立的注意分布，忽略了多模态输入之间的相互作用。在本文中，我们提出了双线性注意力网络（BAN），它可以找到双线性注意力分布来无缝地利用给定地视觉语言信息。BAN考虑两组输入通道之间的双线性交互，而低秩双线性池化提取每对通道地联合表示。此外，我们提出了一种多模态残差网络的变体，以有效地利用BAN的注意力图。在VQA2.0和Flickr30k实体数据集上定量和定性地评估模型，表明BAN显著
代码 原文地址 预备知识：1.什么是K-L散度（Kullback-LeiblerDivergence）？K-L散度，是一种量化两种概率分布P和Q之间差异的方式，又叫相对熵。在概率学和统计学上，我们经常会使用一种更简单的、近似的分布来替代观察数据或太复杂的分布。K-L散度能帮助我们度量使用一个分布来近似另一个分布时所损失的信息量。 2.什么是自训练（self-training）?自训练算法是一种半监督学习算法，在这种算法中，学习者不断标记未标记的样本，并在一个扩大的标记训练集上对自己进行再训练。由于自训练过程可能会错误地标记一些未标记的示例，因此有时学习到的假设不能很好地执行。 摘要文档级关系
大语言模型序列长度的限制，极大地制约了其在人工智能领域的应用，比如多轮对话、长文本理解、多模态数据的处理与生成等。造成这一限制的根本原因在于当前大语言模型均采用的Transformer架构有着相对于序列长度的二次计算复杂度。这意味着随着序列长度的增加，需要的计算资源成几何倍数提升。如何高效地处理长序列一直是大语言模型的挑战之一。之前的方法往往集中在如何让大语言模型在推理阶段适应更长的序列。比如采用Alibi或者类似的相对位置编码的方式来让模型自适应不同的输入序列长度，亦或采用对RoPE等类似的相对位置编码进行差值的方式，在已经完成训练的模型上再进行进一步的短暂精调来达到扩增序列长度的目的。这些
混合模型ACmix将自注意与卷积的整合，同时具有自注意和卷积的优点。这是清华大学、华为和北京人工智能研究院共同发布在2022年CVPR中的论文卷积分解与自注意力卷积分解标准卷积:重写为来自不同内核位置的特征映射的总和:这里的：为了进一步简化公式，使用Shift操作的定义:g(p,q)ij可以改写为:由上得出，标准卷积可以概括为两个阶段:在第一阶段，输入特征从某个位置(p,q)核权重进行线性投影。这与标准的1×1卷积相同。在第二阶段，投影特征图根据内核位置移动并最终聚合在一起。自注意力分解考虑一个有N个头的标准自注意模块。注意力模块的输出为:其中||是N个注意头输出的级联。注意力权重计算为:多头
文章目录1摘要1.1核心2模型架构2.1概览2.2理解encoder-decoder架构2.2.1对比seq2seq，RNN2.2.2我的理解3.Sublayer3.1多头注意力multi-headself-attention3.1.1缩放点乘注意力ScaledDot-ProductAttention3.1.2QKV3.1.3multi-head3.1.4masked3.2线性层MLP3.3embeddingandsoftmax3.4positionalencoding3.5dropout总结附[李沐b站对该论文理解的一些题目和答案](https://zhuanlan.zhihu.com/p/
