论文题目: DMSANet: Dual Multi Scale Attention Network
链接: 网页链接
代码: 网页链接
摘要: 文中提出了一种新的注意力模块, 与大多数现有模型相比, 它不仅可以获得最佳性能, 而且参数更少. 由于其轻量级的特性, 我们的注意力模块可以很容易地与其他卷积神经网络集成. 提出的名为双多尺度注意力网络(DMSANet, Dual Multi Scale Attention Network)由两部分组成: 第一部分用于提取各种尺度的特征并聚合它们; 第二部分并行使用空间和通道注意力模块来自适应地将局部特征与它们的全局依赖.
动机: 现有的注意力模块尽管实现了好的效果, 但是导致计算量的增加; 现有的通道注意力和空间注意力只关注局部信息, 忽略了通道之间的长依赖关系; 以往的注意力无法处理多尺度信息、复杂的信息. 而提出的想法可以以更少的计算代价聚合不同尺度的信息, 捕获更多的上下文信息.
网络结构: 特征图在进入注意力机制之前, 被分为两块, 分别进入两个分支; 通道注意力模块, 减少网络的参数; 空间注意力模块, 完成多尺度信息聚合.
注意机制流程:
1. 利用特征图中两个像素之间的空间关系建立一个空间注意矩阵;
2. 空间注意矩阵与原始特征图相乘, 生成一个新的矩阵;
3. 产生的矩阵与原始的特征图像素级求和;
本人致力于于Sci论文撰写、注意力机制模型等方面, 大家有疑问可直接私信或关注我@Sci博士 [来看我][来看我]
