jjzjj

计算机视觉注意力机制小盘一波 (学习笔记)

将注意力的阶段大改分成了4个阶段1.将深度神经网络与注意力机制相结合,代表性方法为RAM⒉.明确预测判别性输入特征,代表性方法为STN3.隐性且自适应地预测潜在的关键特征,代表方法为SENet4.自注意力机制通道注意力在深度神经网络中,每个卷积层通常包含多个通道,每个通道对应一个特定的特征。通道注意力的目标是根据每个通道的重要性,动态地调整通道的权重,以便在网络中更好地捕捉和利用重要的特征。 通过显示建模通道之间的相互依赖性,重新校准通道方面的特征响应在squeeze阶段,通过全局平均池化操作,将卷积层的输出特征图压缩成一个特征向量然后再excitation阶段,通过使用全连接层和非线性激活函