DeformableAttention（可变形注意力）首先在2020年10月初商汤研究院的《DeformableDETR:DeformableTransformersforEnd-to-EndObjectDetection》论文中提出，在2022CVPR中《VisionTransformerwithDeformableAttention》提出应用了DeformableAttention（可变形自注意力）机制的通用视觉Transformer骨干网络DAT（DeformableAttentionTransformer），并且在多个数据集上效果优于swintransformer。在BEV感知算法中，
这篇文章结合了TDAN中时间可变形网络的优势和Robust-VSR中融合注意力机制的优势，在此基础上注入了金字塔结构，提出了一种新的VSR方法EDVR（EnhancedDeformableVideoRestoration），主要分为两个具体部分：金字塔级联可变形对齐网络（PCD)和时空注意力融合超分网络（TSA）。是适用于多种视频恢复任务的通用体系结构，包括超分辨率、去模糊、去噪、去块等。原文链接：EDVR:VideoRestorationwithEnhancedDeformableConvolutionalNetworks[CVPR2019]参考目录：超分之EDVRTDAN：Temporal
这篇文章结合了TDAN中时间可变形网络的优势和Robust-VSR中融合注意力机制的优势，在此基础上注入了金字塔结构，提出了一种新的VSR方法EDVR（EnhancedDeformableVideoRestoration），主要分为两个具体部分：金字塔级联可变形对齐网络（PCD)和时空注意力融合超分网络（TSA）。是适用于多种视频恢复任务的通用体系结构，包括超分辨率、去模糊、去噪、去块等。原文链接：EDVR:VideoRestorationwithEnhancedDeformableConvolutionalNetworks[CVPR2019]参考目录：超分之EDVRTDAN：Temporal
目录前言一、背景和改进思路二、细节原理和源码讲解2.1、多尺度特征2.1.1、backbone生成多尺度特征2.1.2、多尺度位置编码2.2、多尺度可变形注意力2.2.1、普通多头注意力：MultiHeadAttn2.2.2、可变形多头注意力：DeformAttn2.2.3、多尺度可变形多头注意力：MSDeformAttn2.2.4、源码分析2.3、DeformableDETR：简单版2.3.1、DeformableTransformer2.3.2、Encoder2.3.3、Decoder2.3.4、DeformableDETR2.4、高配版2.4.1、iterativeboundingbox
MicrosoftVisualC++14.0isrequired.1.CompilingCUDAoperators2.安装BuildToolsforVisualStudio3.安装合适的cuda4.编译1.CompilingCUDAoperatorscd./models/opssh./make.sh#unittest(shouldseeallcheckingisTrue)pythontest.pyNote:win11orwin10环境下编译cudaoperator，经常遇到的：MicrosoftVisualC++14.0isrequired2.安装BuildToolsforVisualStud
1.解决问题DETR需要比现有的目标检测器更长的训练时间来收敛。 DETR在检测小物体方面的性能相对较低，并且无法从高分辨率特征地图中检测到小物体。可变形卷积可以识别重要特征，但是无法学习重要特征之间的联系 transformer组件在处理图像特征图中的不足。在初始化时，注意模块对特征图中的所有像素施加了几乎一致的注意权重。长时间的训练周期是为了学习注意权重，以关注稀疏的有意义的位置。另一方面，transformer编码器中的注意权值计算是二次计算w.r.t.像素数。因此，处理高分辨率的特征映射具有非常高的计算和内存复杂性。2.核心思想 DeformableDETR
1.解决问题DETR需要比现有的目标检测器更长的训练时间来收敛。 DETR在检测小物体方面的性能相对较低，并且无法从高分辨率特征地图中检测到小物体。可变形卷积可以识别重要特征，但是无法学习重要特征之间的联系 transformer组件在处理图像特征图中的不足。在初始化时，注意模块对特征图中的所有像素施加了几乎一致的注意权重。长时间的训练周期是为了学习注意权重，以关注稀疏的有意义的位置。另一方面，transformer编码器中的注意权值计算是二次计算w.r.t.像素数。因此，处理高分辨率的特征映射具有非常高的计算和内存复杂性。2.核心思想 DeformableDETR
FoldingNet[1]提出了一种点云自编码器结构，属于自监督学习的范畴，可以将输入点云投影（即特征降维）至具有丰富语义信息的高维空间中，形成高维特征向量（文中用“codeword”指代），即编码过程。接着通过解码网络将高维特征向量恢复得到高维度的输入点云。如下图所示，对于input输入点云，首先经过特征编码形成codeword（不是图中的2Dgrid），接着进行两次folding操作，恢复得到与输入点云相似的输出点云：WhatisFoldingOperation？作者在文中指出，从直觉上来说，任何三维空间表面结构都可以通过“裁剪”，“挤压”，“屈伸”等操作转换成二维平面表示，因此以上操作的
FoldingNet[1]提出了一种点云自编码器结构，属于自监督学习的范畴，可以将输入点云投影（即特征降维）至具有丰富语义信息的高维空间中，形成高维特征向量（文中用“codeword”指代），即编码过程。接着通过解码网络将高维特征向量恢复得到高维度的输入点云。如下图所示，对于input输入点云，首先经过特征编码形成codeword（不是图中的2Dgrid），接着进行两次folding操作，恢复得到与输入点云相似的输出点云：WhatisFoldingOperation？作者在文中指出，从直觉上来说，任何三维空间表面结构都可以通过“裁剪”，“挤压”，“屈伸”等操作转换成二维平面表示，因此以上操作的
