【论文学习】Squeeze-and-Excitation Networks(SENet)

Squeeze-and-Excitation Networks(挤压和激励网络) Squeeze-and-Excitation Networks ie Hu[0000−0002−5150−1003] Li Shen[0000−0002−2283−4976] Samuel Albanie[0000−0001−9736−5134] Gang Sun[0000−0001−6913−6799] Enhua Wu[0000−0002−2174−1428] Abstract 卷积神经网络(CNNs)的核心构造块是卷积算子,它使网络能够通过融合各层局部感受野中的空间和信道信息来构造信息特征。. 阅读详情

  • 论文题目:Squeeze-and-Excitation Networks
  • 发表会议:CVPR
  • 发表时间:2018
  • 论文单位及作者:
    • Momenta(一家著名自动驾驶公司):Jie Hu
    • University of Oxford:Li Shen、Samuel Albanie、Gang Sun、Enhua Wu

摘要

  1. 背景介绍:CNN的核心是卷积操作,是通过局部感受野的方式来融合空间维度和通道维度的特征的,针对空间维度的特征提取方法已经被广泛研究。
  2. 本文工作:本篇论文则把研究重点放在通道维度上,探索通道之间的关系,并提出SE Block(Squeeze-and-Excitation Module),它可以自适应的调整通道维度上的特征。
  3. 研究成果:SE Block可嵌入堆叠在很多经典的神经网络中如Inception Module、ResNet等构成SENet,在多个数据集上表现良好,能够在仅需增加少量参数的条件下大幅度提升精度。
  4. 比赛结果:在ILSVRC-2017分类挑战赛上获得冠军,将top-5 error降低至2.251%,相对于2016的冠军下降了大约25%。

1.近年相关研究

1.1 CNN模型的实用性

从2012年AlexNet横空出世,一直到后来的ZFNet、VGG,增加网络深度可以显著提高特征学习的表示质量,到后来引入Inception模块堆叠的GoogLeNet-v1,通过调节输入到每一层的分布,BN层(批归一化)的引入加快了深度网络的训练学习,增加了学习过程中的稳定性,再到后来引入基于跳跃连接残差学习的ResNet、ResNeXt、以及Inception与残差结合的GoogLeNet-v4,CNN已经被证明是解决各种视觉任务的有效模型。

CNN是这样运作的:在网络的每个卷积层中,通过一组滤波器(也即多个卷积核)在局部感受野内将空间和通道信息融合在一起,通过一系列层操作(卷积层、激活函数层、池化层等),能够生成我们所要提取的层级特征。

计算机视觉领域中,最值得研究的热点就是如何去找到更强大的特征表示,这个强大的特征表示体现在:我们直奔主题,直接去提取对于给定任务最重要的图像特征,而其余对任务的价值意义不大的特征,可以直接剔除掉,这样可能会需要一个额外的机制/模块去进行设计,也许会增加一些模块的参数,但性能的提高或许会是很大幅度的。

最近的研究表明,我们可以考虑将参数学习机制嵌入到网络中来增强CNN产生的特征表示,能够帮助网络捕捉到特征之间存在的空间相关性(Inception堆叠嵌入的GoogLeNet系列就是一个很好的例子,能够多尺度提取特征并进行融合,这是一种针对空间维度的方法)。

1.2 深层次体系结构的探索

  • VGG:增加网络深度可以显著提高特征学习的表示质量
  • Inception结构:多尺度卷积及融合,提取特征
  • Batch Normalization(BN批归一化):加快深度网络训练学习,增加学习过程中的稳定性
  • ResNet:引入跳跃连接加深学习过程
  • Highway Network:引入一种门控机制来调节信息流。
  • 分组卷积(ResNeXt):让网络学习到不同的特征,获取更丰富信息,提高学习变换基数的流行方法。
  • Network in Network(NIN):采用1*1卷积,舍弃FC层,压缩特征图厚度,大大减少网络参数

以往在研究通道之间关系时,采用的都是局部信息,而本文提出的方法采用全局方法进行通道特征信息的提取。

1.3 注意力机制

注意力机制(Attention Mechanism):来源于对人类视觉的研究。人眼的视觉范围其实是很大的,但是我们不能够将所有的信息都囊括在我们的视觉系统中,我们人类对于信息的处理也是有一定的限制的,所以说人类视网膜不同的部位具有不同的信息处理能力,也即不同部分的敏锐度不同,人类视网膜中央凹部位具有最高的敏锐度。为了合理利用有限的视觉信息处理资源,人类需要选择视觉区域中的特定部分,然后重点去关注他。比如说,我们在影院看电影时我们会重点关注此时正在播放的屏幕窗口范围内的视觉,而会忽视掉窗口之外的其他背景等信息,这就是注意力机制的一个体现。从计算机的角度来看,可以解释为将可用计算资源的分配偏向信号中最有用的部分的一种手段。

注意力机制最早用于自然语言处理(NLP)的领域,后来在计算机视觉(CV)领域也得到了广泛的应用。(比如,序列学习;图像理解、定位;图像描述;唇语识别任务)

相关研究1:STNet

在这里插入图片描述
实际上,在SENet这篇论文之前,就有很多对注意力机制的相关研究。首先是STNet,Spatial-Transform Net 空间变换网络,考虑到CNN对平移不变性支持不足,因此设计一个空间变换模块来变换特征图,使CNN可以适应更多变换,例如放大、旋转、平移等,空间变换模块通过将上图中手写的形变的、位置偏离的、有一些噪点的符号图像给他变换到图像中间区域的位置,这样就可以提高对图形变换的鲁棒性。

下图是变换的原理,对特征图通过特征定位(Localisation net)、网格生成(Grid generator)对特征图的像素点进行网格对应,然后采样(Sample)得到变换后的图像,这是主要针对空间维度上考虑,并进行设计的。
在这里插入图片描述

相关研究2:Attention ResNet

在这里插入图片描述

第二个相关研究就是残差注意力网络的设计,这是一种使用注意力机制的卷积神经网络,可以以端到端的训练方式与最新的前馈网络体系结构相结合,通过堆叠注意力模块构建,这些模块会生成注意力感知功能。如上图左面的部分,网络对给出的特征图进行一系列的另一个网络层的操作,得到一些权重用于注意力机制,然后再与原来的特征图进行乘法操作,从而加强对重要特征部分的关注度;而右面的部分是热气球图像的不同注意类型的示例。我们会发现,天空注意力的mask会减少背景响应,而气球实例的mask会突出显示气球的底部,这也就体现了可以在不同的注意力模块中捕获不同类型的关注点。

这种机制的实现就是通过与残差结构相结合而提出的残差注意力模块,它是采用自下而上、自上而下的前向Attention机制,在原有网络基础上,新增了一个Mask分支来计算权重,提取带有注意力权重的特征图,并进行单独训练,同样,与右分支卷积得到的特征图做乘法运算,增强有意义的特征,而抑制无意义的信息。同时也借鉴了ResNet恒等映射的思想,M(x)为0时,该层处理后的输入就等于T(x),这样就能够很容易的将模型的深度达到很深的层次,并且具有非常好的性能,如下图所示:

在这里插入图片描述

相关研究3:CBAM

CBAM:Convolutional block attention module。

我们知道CNN的核心是卷积操作,是通过局部感受野的方式来融合空间和通道维度的特征的,针对空间维度的特征提取方法其实很早在 GoogLeNet 中 Inception 模块中多尺度特征提取再融合这个过程就有所体现了,而针对通道维度的注意力机制才从 SENet 这里开始引入研究。ECCV(欧洲计算机视觉国际会议) 2018年又提出了卷积块的注意力模块,提出了通道维度和空间维度两种方式下进行注意力机制的获得。

在这里插入图片描述
以上就是注意力机制比较具有代表性的相关研究。

注意力机制,我理解应该是一种通过提高关注度进而提高效率的方法,可理解为将最有意义的部分给予更多“关注”。

这篇论文提出的SE块其实就引入了注意力机制,着重于通过以计算有效的方式对各个通道之间的关系进行建模来增强网络的表示能力。

2.Squeeze-and-Excitation 结构

本文针对另一个角度——通道维度,进行了研究,引入了新的体系结构单元:Squeeze-and-Excitation Module(SE块),也可以理解为一种机制,其目的是通过显式地建模其卷积特征的通道之间的相互依赖性,从而提高网络特征表示的质量。那么怎么提高呢?就是令网络对传统CNN得到的特征图进行一个“重新校准”,也就是对原来特征图上的特征点进行权重的重新分配,有选择性的加强重要信息特征的权重,同时抑制重要程度不高的信息特征。

在这里插入图片描述
上图就是SE Block的结构图,以下是各部分的操作:

  • F t r F_{tr} Ftr​:传统的一系列卷积变换等。
  • F s q F_{sq} Fsq​:Squeeze(挤压)操作,将 C × W × H C \times W \times H C×W×H的特征图U的空间维度(高和宽)压缩至 1 × 1 1\times1 1×1,得到 1 × 1 × C 1\times1\times C 1×1×C的特征向量,利用1个像素来表示一个通道,也即压缩成了1个实数,因此它在某种程度上是具有全局感受野的。
  • F e x F_{ex} Fex​:Excitation(激励)操作,可理解为一种自门控机制,通过学习参数 W W W来为每个特征通道生成一个代表注意力程度的权重值,将嵌入作为输入并产生每个通道对应权重的集合
  • F s c a l e F_{scale} Fscale​:通过控制scale的大小,把重要的特征增强,不重要的特征减弱,从而让提取的特征指向性更强,得到如图颜色深浅程度不一的特征图(颜色分布代表分配给特征重要程度的不同)

目前来看,提出并设计出一个新的CNN架构是很难的,尤其是前几年涌现出那么多性能还不错的网络模型,通常需要选择许多新的超参数和层配置。相比之下,SE块的结构很简单,并且可以直接在现有的最新技术体系结构中使用,从而可以有效地提高性能,同时在计算上也很轻巧,并且在模型复杂性和计算负担上仅增加了一点点。

2.1 传统transformation( F t r F_{tr} Ftr​)

在这里插入图片描述

  • 输入: X ∈ R H ′ × W ′ × C ′ X\in R^{H^{'}\times W^{'}\times C^{'}} X∈RH′×W′×C′
  • 输出: U ∈ R H × W × C U\in R^{H\times W\times C} U∈RH×W×C
  • 滤波器集合 V = [ V 1 , V 2 , . . . , V c ] V=[V_1,V_2, ... ,V_c] V=[V1​,V2​,...,Vc​]:前面学习到的滤波器参数, V c V_c Vc​表示第c个滤波器参数
  • ∗ * ∗:卷积操作
  • V c s V_c^s V
【翻译笔记】Squeeze-and-Excitation Networks 卷积神经网络(CNN)的核心模块是卷积块,它使网络能够融合每层局部感受野内的空间和通道信息构建信息特征。 大量的先前研究已经研究了这种关系的空间结构,试图通过在整个特征层次上提高空间编码的质量来增强CNN的表示能力。 在这项工作中,我们将重点放在通道关系上,并提出一个新颖的体系结构单元,我们称之为“挤压和激励”(SE)块,该模块通过显式建模通道之间的相互依赖性来自适应地重新校准通道方式的特征响应。 我们展示了模块堆叠在一起以形成的SENet架构,该架构可以非常有效地概括不同数据集。 阅读详情

相关推荐

【论文阅读】SENet和CBAM浅读(简介+代码)

SENet和CBAM

小苏的博客 790

(SENet)Squeeze-and-Excitation Networks论文阅读笔记

文章目录(SENet)Squeeze-and-Excitation Networks论文阅读笔记2018Abstract1. Introduction2. Related Work3. Squeeze-and-Excitation Blocks3.1 Squeeze: Global Information Embedding3.2 Excitation: Adaptive Recalibration3.3 Instantiations4. Model and Computational Complexity

weixin_43422466的博客 1220

【注意力机制】SENet(Squeeze-and-Excitation Networks)详解

论文:《Squeeze-and-Excitation Networks》 论文链接:https://arxiv.org/abs/1709.01507 代码地址:https://github.com/hujie-frank/SENet PyTorch代码地址:https://github.com/miraclewkf/SENet-PyTorch 概述        在深度学习领域,CNN分类网络的发展对其他计算机视觉任务如目标检测和语义分割

Roaddd的博客 1万+

SENet:Squeeze-and-Excitation Networks(CVPR 2018)详解

一、SENet简介        Squeeze-and-Excitation Networks(SENet)是由自动驾驶公司Momenta在2017年公布的一种全新的图像识别结构,它通过对特征通道间的相关性进行建模,把重要的特征进行强化来提升准确率。这个结构是2017 ILSVR竞赛的冠军,top5的错误率达到了2.251%,比2016年的第一名还要低25%,可谓提升巨大。      &

Lil Wing 1862

注意力机制论文:Squeeze-and-Excitation Networks及其PyTorch实现

Squeeze-and-Excitation Networks PDF: https://arxiv.org/pdf/1709.01507.pdf PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks PyTorch代码:

mingo_敏 5354

Squeeze-and-Excitation Networks

Squeeze-and-Excitation Networks的论文,不算比较经典的网络。需要学习,是对其他网络的改进版

Unity3d实现的十字路口的模拟(一)

最近学习了Unity3d这个游戏引擎,感觉真的是非常的强大,正好赶上操作系统课程要做一个模拟信号量的模拟程序,于是打算做一个模拟十字路口的程序,大致的实现要实现的成果是:存在四种不同的汽车,包括一辆警车(不受交通信号灯的控制)随机产生在不同的路口,并且有不同的行动路线如:直走,左转,右转等,当然还有交通信号灯来控制车辆的有序运行。可以展示不同的视角来观察路口的情况(利用Q,W,E,R分别控制不同的

永远在身边的专栏 7489

大模型训练方法全面解析:SFT、RFT、TRPO、DPO、PPO、GRPO、RLH、RLHF技术深度剖析

大模型训练方法全面解析 本文系统介绍了当前主流的大模型训练和对齐技术,包括监督微调(SFT)、拒绝采样微调(RFT)、信任域策略优化(TRPO)、直接偏好优化(DPO)、近端策略优化(PPO)等。这些方法各有特点:SFT简单高效但数据依赖性强;RFT通过质量筛选提升输出质量;TRPO训练稳定但计算复杂;PPO是RLHF核心算法,平衡探索与利用。文章详细分析了各方法的实现原理、优势劣势及适用场景,为开发者选择合适的大模型训练策略提供参考。

2801

Rockit VDEC解码实战:从零构建高效视频处理流水线

本文详细介绍了Rockit VDEC硬件解码模块在RK3568/RK3588平台的应用实践,涵盖开发环境配置、MPI接口使用、码流发送模式选择、内存管理优化及多路解码系统构建。通过实战案例展示如何利用VDEC实现高效视频处理流水线,显著降低CPU占用率,提升嵌入式多媒体开发效率。

ol789012的博客 306

使用Docker搭建MaxKB智能体平台

【代码】使用Docker搭建MaxKB智能体平台。

janthinasnail的博客 715

垂直领域论坛数据挖掘:Python突破Discuz!加密与用户画像构建指南

在垂直领域论坛,如专业技术论坛、兴趣爱好社区等,积累了大量有价值的信息和用户数据。这些数据不仅可以帮助我们了解用户的行为模式和兴趣点,还能为社区运营、产品优化、商业决策等提供有力支持。然而,许多基于Discuz!系统的论坛对数据进行了加密保护,给数据挖掘带来了一定的挑战。本文将详细探讨如何使用Python突破Discuz!论坛的加密机制,并构建用户画像,实现数据掘金。

u014481728的博客 1696

药物对接仿真软件:HADDOCK_(5).HADDOCK中蛋白质-配体对接流程

半柔性能量最小化阶段是在刚体能量最小化的基础上,允许配体的部分柔性,通过优化配体的构象来进一步提高对接的准确性。半柔性能量最小化阶段是在刚体能量最小化的基础上,允许配体的部分柔性,通过优化配体的构象来进一步提高对接的准确性。如果是PDB格式,确保文件包含所有必要的原子信息。对接完成后,HADDOCK会生成一系列的输出文件,包括对接后的蛋白质-配体复合物结构文件、能量评分文件和统计分析文件。对接完成后,HADDOCK会生成一系列的输出文件,包括对接后的蛋白质-配体复合物结构文件、能量评分文件和统计分析文件。

kkchenjj的博客 1086

【网络安全】基于Python的威胁情报自动推送系统设计与实现(含源码)

本文介绍了一个基于 Python 开发的威胁情报自动推送系统的设计与实现。该系统通过集成 AbuseIPDB 威胁情报数据源与即时通讯平台,实现了恶意 IP 地址的自动化采集、筛选与实时推送功能。文章详细阐述了系统的技术架构、核心算法、数据流转过程以及关键代码实现。系统采用多线程并发架构,通过 Long Polling 技术实现实时消息接收,支持自动推送和交互式查询两种工作模式。文章还提供了完整的部署指南和使用说明,包括环境配置、运行方式等内容。

等风来 314

学 Simulink—— 基于强化学习(DDPG)的电机无位置传感器控制仿真

Actor:输入状态s,输出θ̂_dot(即 ω̂),积分得 θ̂Critic:评估"估计角度与反电动势模型一致性"的 Q 值奖励函数不依赖真实 θ(无监督式自监督),只用iαβ预测残差。

amy_mhd的博客 19

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

上一篇: 【论文学习】An Automatic Cardiac Segmentation Framework based on Multi-sequence MR Image
下一篇: Mimics 21.0软件学习笔记(一)基本操作
Stefan_xiao
博客等级 码龄10年 125粉丝 17原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值