Squeeze-and-Excitation Networks(SENet)
- 论文题目:Squeeze-and-Excitation Networks
- 发表会议:CVPR
- 发表时间:2018
- 论文单位及作者:
- Momenta(一家著名自动驾驶公司):Jie Hu
- University of Oxford:Li Shen、Samuel Albanie、Gang Sun、Enhua Wu
摘要
- 背景介绍:CNN的核心是卷积操作,是通过局部感受野的方式来融合空间维度和通道维度的特征的,针对空间维度的特征提取方法已经被广泛研究。
- 本文工作:本篇论文则把研究重点放在通道维度上,探索通道之间的关系,并提出SE Block(Squeeze-and-Excitation Module),它可以自适应的调整通道维度上的特征。
- 研究成果:SE Block可嵌入堆叠在很多经典的神经网络中如Inception Module、ResNet等构成SENet,在多个数据集上表现良好,能够在仅需增加少量参数的条件下大幅度提升精度。
- 比赛结果:在ILSVRC-2017分类挑战赛上获得冠军,将top-5 error降低至2.251%,相对于2016的冠军下降了大约25%。
1.近年相关研究
1.1 CNN模型的实用性
从2012年AlexNet横空出世,一直到后来的ZFNet、VGG,增加网络深度可以显著提高特征学习的表示质量,到后来引入Inception模块堆叠的GoogLeNet-v1,通过调节输入到每一层的分布,BN层(批归一化)的引入加快了深度网络的训练学习,增加了学习过程中的稳定性,再到后来引入基于跳跃连接残差学习的ResNet、ResNeXt、以及Inception与残差结合的GoogLeNet-v4,CNN已经被证明是解决各种视觉任务的有效模型。
CNN是这样运作的:在网络的每个卷积层中,通过一组滤波器(也即多个卷积核)在局部感受野内将空间和通道信息融合在一起,通过一系列层操作(卷积层、激活函数层、池化层等),能够生成我们所要提取的层级特征。
计算机视觉领域中,最值得研究的热点就是如何去找到更强大的特征表示,这个强大的特征表示体现在:我们直奔主题,直接去提取对于给定任务最重要的图像特征,而其余对任务的价值意义不大的特征,可以直接剔除掉,这样可能会需要一个额外的机制/模块去进行设计,也许会增加一些模块的参数,但性能的提高或许会是很大幅度的。
最近的研究表明,我们可以考虑将参数学习机制嵌入到网络中来增强CNN产生的特征表示,能够帮助网络捕捉到特征之间存在的空间相关性(Inception堆叠嵌入的GoogLeNet系列就是一个很好的例子,能够多尺度提取特征并进行融合,这是一种针对空间维度的方法)。
1.2 深层次体系结构的探索
- VGG:增加网络深度可以显著提高特征学习的表示质量
- Inception结构:多尺度卷积及融合,提取特征
- Batch Normalization(BN批归一化):加快深度网络训练学习,增加学习过程中的稳定性
- ResNet:引入跳跃连接加深学习过程
- Highway Network:引入一种门控机制来调节信息流。
- 分组卷积(ResNeXt):让网络学习到不同的特征,获取更丰富信息,提高学习变换基数的流行方法。
- Network in Network(NIN):采用1*1卷积,舍弃FC层,压缩特征图厚度,大大减少网络参数
以往在研究通道之间关系时,采用的都是局部信息,而本文提出的方法采用全局方法进行通道特征信息的提取。
1.3 注意力机制
注意力机制(Attention Mechanism):来源于对人类视觉的研究。人眼的视觉范围其实是很大的,但是我们不能够将所有的信息都囊括在我们的视觉系统中,我们人类对于信息的处理也是有一定的限制的,所以说人类视网膜不同的部位具有不同的信息处理能力,也即不同部分的敏锐度不同,人类视网膜中央凹部位具有最高的敏锐度。为了合理利用有限的视觉信息处理资源,人类需要选择视觉区域中的特定部分,然后重点去关注他。比如说,我们在影院看电影时我们会重点关注此时正在播放的屏幕窗口范围内的视觉,而会忽视掉窗口之外的其他背景等信息,这就是注意力机制的一个体现。从计算机的角度来看,可以解释为将可用计算资源的分配偏向信号中最有用的部分的一种手段。
注意力机制最早用于自然语言处理(NLP)的领域,后来在计算机视觉(CV)领域也得到了广泛的应用。(比如,序列学习;图像理解、定位;图像描述;唇语识别任务)
相关研究1:STNet

实际上,在SENet这篇论文之前,就有很多对注意力机制的相关研究。首先是STNet,Spatial-Transform Net 空间变换网络,考虑到CNN对平移不变性支持不足,因此设计一个空间变换模块来变换特征图,使CNN可以适应更多变换,例如放大、旋转、平移等,空间变换模块通过将上图中手写的形变的、位置偏离的、有一些噪点的符号图像给他变换到图像中间区域的位置,这样就可以提高对图形变换的鲁棒性。
下图是变换的原理,对特征图通过特征定位(Localisation net)、网格生成(Grid generator)对特征图的像素点进行网格对应,然后采样(Sample)得到变换后的图像,这是主要针对空间维度上考虑,并进行设计的。

相关研究2:Attention ResNet

第二个相关研究就是残差注意力网络的设计,这是一种使用注意力机制的卷积神经网络,可以以端到端的训练方式与最新的前馈网络体系结构相结合,通过堆叠注意力模块构建,这些模块会生成注意力感知功能。如上图左面的部分,网络对给出的特征图进行一系列的另一个网络层的操作,得到一些权重用于注意力机制,然后再与原来的特征图进行乘法操作,从而加强对重要特征部分的关注度;而右面的部分是热气球图像的不同注意类型的示例。我们会发现,天空注意力的mask会减少背景响应,而气球实例的mask会突出显示气球的底部,这也就体现了可以在不同的注意力模块中捕获不同类型的关注点。
这种机制的实现就是通过与残差结构相结合而提出的残差注意力模块,它是采用自下而上、自上而下的前向Attention机制,在原有网络基础上,新增了一个Mask分支来计算权重,提取带有注意力权重的特征图,并进行单独训练,同样,与右分支卷积得到的特征图做乘法运算,增强有意义的特征,而抑制无意义的信息。同时也借鉴了ResNet恒等映射的思想,M(x)为0时,该层处理后的输入就等于T(x),这样就能够很容易的将模型的深度达到很深的层次,并且具有非常好的性能,如下图所示:

相关研究3:CBAM
CBAM:Convolutional block attention module。
我们知道CNN的核心是卷积操作,是通过局部感受野的方式来融合空间和通道维度的特征的,针对空间维度的特征提取方法其实很早在 GoogLeNet 中 Inception 模块中多尺度特征提取再融合这个过程就有所体现了,而针对通道维度的注意力机制才从 SENet 这里开始引入研究。ECCV(欧洲计算机视觉国际会议) 2018年又提出了卷积块的注意力模块,提出了通道维度和空间维度两种方式下进行注意力机制的获得。

以上就是注意力机制比较具有代表性的相关研究。
注意力机制,我理解应该是一种通过提高关注度进而提高效率的方法,可理解为将最有意义的部分给予更多“关注”。
这篇论文提出的SE块其实就引入了注意力机制,着重于通过以计算有效的方式对各个通道之间的关系进行建模来增强网络的表示能力。
2.Squeeze-and-Excitation 结构
本文针对另一个角度——通道维度,进行了研究,引入了新的体系结构单元:Squeeze-and-Excitation Module(SE块),也可以理解为一种机制,其目的是通过显式地建模其卷积特征的通道之间的相互依赖性,从而提高网络特征表示的质量。那么怎么提高呢?就是令网络对传统CNN得到的特征图进行一个“重新校准”,也就是对原来特征图上的特征点进行权重的重新分配,有选择性的加强重要信息特征的权重,同时抑制重要程度不高的信息特征。

上图就是SE Block的结构图,以下是各部分的操作:
- F t r F_{tr} Ftr:传统的一系列卷积变换等。
- F s q F_{sq} Fsq:Squeeze(挤压)操作,将 C × W × H C \times W \times H C×W×H的特征图U的空间维度(高和宽)压缩至 1 × 1 1\times1 1×1,得到 1 × 1 × C 1\times1\times C 1×1×C的特征向量,利用1个像素来表示一个通道,也即压缩成了1个实数,因此它在某种程度上是具有全局感受野的。
- F e x F_{ex} Fex:Excitation(激励)操作,可理解为一种自门控机制,通过学习参数 W W W来为每个特征通道生成一个代表注意力程度的权重值,将嵌入作为输入并产生每个通道对应权重的集合
- F s c a l e F_{scale} Fscale:通过控制scale的大小,把重要的特征增强,不重要的特征减弱,从而让提取的特征指向性更强,得到如图颜色深浅程度不一的特征图(颜色分布代表分配给特征重要程度的不同)
目前来看,提出并设计出一个新的CNN架构是很难的,尤其是前几年涌现出那么多性能还不错的网络模型,通常需要选择许多新的超参数和层配置。相比之下,SE块的结构很简单,并且可以直接在现有的最新技术体系结构中使用,从而可以有效地提高性能,同时在计算上也很轻巧,并且在模型复杂性和计算负担上仅增加了一点点。
2.1 传统transformation( F t r F_{tr} Ftr)

- 输入: X ∈ R H ′ × W ′ × C ′ X\in R^{H^{'}\times W^{'}\times C^{'}} X∈RH′×W′×C′
- 输出: U ∈ R H × W × C U\in R^{H\times W\times C} U∈RH×W×C
- 滤波器集合 V = [ V 1 , V 2 , . . . , V c ] V=[V_1,V_2, ... ,V_c] V=[V1,V2,...,Vc]:前面学习到的滤波器参数, V c V_c Vc表示第c个滤波器参数
- ∗ * ∗:卷积操作
- V c s V_c^s V
790



被折叠的 条评论
为什么被折叠?



