混合模型ACmix将自注意与卷积的整合，同时具有自注意和卷积的优点。这是清华大学、华为和北京人工智能研究院共同发布在2022年CVPR中的论文卷积分解与自注意力卷积分解标准卷积:重写为来自不同内核位置的特征映射的总和:这里的：为了进一步简化公式，使用Shift操作的定义:g(p,q)ij可以改写为:由上得出，标准卷积可以概括为两个阶段:在第一阶段，输入特征从某个位置(p,q)核权重进行线性投影。这与标准的1×1卷积相同。在第二阶段，投影特征图根据内核位置移动并最终聚合在一起。自注意力分解考虑一个有N个头的标准自注意模块。注意力模块的输出为:其中||是N个注意头输出的级联。注意力权重计算为:多头

前几天看了一篇由清华大学发表的融合卷积与自注意力机制的文章，其中将融合模块称为ACMix。本文主要就其中的融合细节进行讲述。paper：http://arxiv.org/abs/2111.14556code：https://github.com/LeapLabTHU/ACmix\quad介绍（文章贡献）有两个方面：(1)揭示了自注意力和卷积之间的强大潜在关系，为理解两个模块之间的联系提供了新的视角，并为设计新的学习范式提供了灵感。(2)提出了自注意力和卷积模块的优雅集成，它享有两个世界的好处。经验证据表明，混合模型始终优于其纯卷积或自注意力模型。\quad相关工作这部分主要针对Self-Att

文章目录ACmix网络理论简介YOLOv7集成ACmix修改结构配置yaml文件修改common.py文件修改yolo.py文件利用yolov7_acmix.yaml训练模型ACmix网络理论简介ACmix是卷积网络和transformer两种强大的网络优势的集合，具有较低的计算开销，同时也能提升网络性能，在卷积网络和transformer各行其是的今天，是一种融合两种优势的不错方法。首先，通过使用1X1卷积对输入特征进行映射，获得丰富的中间特征集；然后，按照不同的模式(分别以Self-Attention方式和卷积方式)重用和聚合中间特征。主要贡献：1.揭示了Self-Attention和卷积