论文详解-Fully Convolutional Networks for Semantic Segmentation

FCN的学习及理解(Fully Convolutional Networks for Semantic Segmentation) 论文Fully Convolutional Networks for Semantic Segmentation 是图像分割的milestone论文。理清一下我学习过程中关注的重点。fcn开源代码github下载地址https://github.com/shelhamer/fcn.berkeleyvision.org核心思想该论文包含了当下CNN的三个思潮- 不含全连接层(fc)的全卷积(fu... 阅读详情

摘要

卷积网络是强大的视觉模型,可以产生特征层次结构。我们展示了卷积网络本身,经过端到端,像素到像素的训练,在语义分割方面改进了之前的最佳结果。我们的关键见解是建立“完全卷积”网络,该网络可以接受任意大小的输入,并通过有效的推理和学习产生相应大小的输出。我们定义和详细描述了全卷积网络的空间,解释了它们在空间密集预测任务中的应用,并绘制了与先前模型的连接。我们将当代分类网络(AlexNet, VGG网络和GoogLeNet)改编为全卷积网络,并通过微调将其学习到的表示转移到分割任务中。然后,我们定义了一个跳过架构,该架构结合了来自深层粗糙层的语义信息和来自浅层精细层的外观信息,以产生准确而详细的分割。我们的全卷积网络实现了PASCAL VOC、NYUDv2、SIFT Flow和PASCAL- context的改进分割(相对于2012年的67.2%平均IU提高了30%),而对典型图像的推理只需要十分之一秒。

语义分割,卷积网络,深度学习,迁移学习

空间密集预测是指对输入图像中的每个像素进行预测或分类的过程。在语义分割任务中,空间密集预测意味着对图像中的每个像素进行分类,以便将图像分割成具有语义信息的区域。全卷积网络(FCN)通过实现空间密集预测,能够有效地处理语义分割等任务,因为它们可以接受任意大小的输入并产生相应大小的输出,从而实现了端到端的像素级预测。

引言 

  • Convnets不仅在整幅图像分类方面不断进步,而且在具有结构化输出的局部任务上也取得了进展。这些进步包括边界盒目标检测,部分和关键点预测,以及局部对应。
  • 以前的语义分割方法通常是将每个像素标记为其所在对象或区域的类别,但这种方法存在一些缺陷,而本文介绍的方法可以解决这些缺陷。

这里的缺陷指的是:以前的方法可能会忽略全局信息或局部信息,或者需要使用复杂的后处理技术来提高分割的准确性。而本文介绍的全卷积网络方法可以同时考虑全局和局部信息,并且可以直接从图像中学习到像素级别的预测,从而避免了后处理的需要。 

  •  语义分割面临语义和位置之间固有的紧张关系:全局信息解决什么问题,而局部信息解决哪里问题。如何将这个范围从位置导航到语义?局部决策如何尊重全局结构?目前还不清楚用于图像分类的深度网络是否能产生足够精确的像素识别表示
  • 我们将预训练的网络转换为完全卷积形式,并使用利用完整特征谱的跳过架构对其进行增强。跳跃结构融合了特征层次,将深度的、粗糙的语义信息和浅的、精细的外观信息结合在一起(参见第4.3节和图3)。因此,深度特征层次在一个非线性的局部到全局金字塔中编码位置和语义。
  • 对PASCAL-Context数据集进行的实验结果表明,将对象分割和场景解析合并为统一的像素级预测任务是可行的。在这个任务中,每个像素都被标记为属于哪个对象或场景类别,从而生成与输入图像相同大小的分割图像。

2.相关工作 

  • 我们的方法借鉴了深度网络最近在图像分类[1],[2],[3]和迁移学习[18],[19]方面的成功。迁移首先在各种视觉识别任务中得到证明[18],[19],然后在混合提议分类器模型的检测和实例和语义分割中得到证明[5],[14],[15]。我们现在重新构建和微调分类网络,以直接、密集地预测语义分割。我们绘制了fcn的空间图,并将历史和最近的先前模型联系起来。

 混合提议-分类器模型(hybrid proposal-classifier models)是一种结合了目标提议和分类器的模型。在这种模型中,首先使用目标检测或提议生成算法(如R-CNN)生成候选目标提议,然后将这些提议输入到分类器中进行分类。这种方法结合了目标检测和分类的优点,能够在图像中识别和定位不同的目标。在语义分割任务中,这种模型可以用于生成候选的目标区域,然后对这些区域进行像素级别的分类,从而实现语义分割的任务。

  • 将卷积网络扩展到任意大小输入的想法最早出现在Matan等人[20],他们扩展了经典的LeNet[21]来识别数字串。由于他们的网络被限制为一维输入字符串,Matan等人使用Viterbi decoding来获得它们的输出。Wolf和Platt[22]将convnet输出扩展为邮政地址块四个角的检测分数的二维地图。这两种历史作品都完全卷积地进行推理和学习以进行检测。Ning等[10]定义了一种用于C. elegans组织粗多类分割的convnet。并使用完全卷积推断(fully convolutional inference)进行实现。

Viterbi decoding是一种动态规划算法,通常用于在隐马尔可夫模型(HMM)或其他具有状态转移概率和观测概率的模型中找到最可能的状态序列。在语音识别、自然语言处理和通信系统等领域经常会用到Viterbi解码算法。 该算法通过计算每个时刻的最可能状态路径,从而找到整体上最可能的状态序列。它利用动态规划的思想,通过递推地计算局部最优解来得到全局最优解。Viterbi解码算法对于处理具有大量状态和状态转移的问题非常有效,因为它能够在多个可能的状态序列中高效地找到最可能的序列。 在图像处理或语音识别中,Viterbi解码算法可以用于识别最可能的图像标记序列或语音信号序列,从而实现诸如词性标注、语音识别等任务。 

Wolf和Platt在他们的工作中使用卷积神经网络(convnet)将输出扩展为用于检测邮政地址块四个角的二维地图。这意味着他们使用卷积神经网络来生成用于定位邮政地址块四个角的检测分数的二维地图。这种方法可以帮助识别邮政地址块的位置和边界,从而在自动化邮件处理等应用中发挥作用。Wolf和Platt的工作可能涉及使用卷积神经网络进行目标检测和定位,以便有效地识别和定位邮政地址块。

Ning等人在他们的工作中使用卷积神经网络(convnet)进行C. elegans组织的粗略多类别分割,并使用完全卷积推断(fully convolutional inference)进行实现。这意味着他们使用卷积神经网络来对C. elegans组织进行分割,而不是使用传统的基于像素的分类方法。完全卷积推断是指使用卷积神经网络进行像素级别的分类和分割,而不是使用传统的全连接层。这种方法可以帮助识别和分割C. elegans组织中的不同细胞类型和结构,从而在生物医学研究中发挥作用。Ning等人的工作可能涉及使用卷积神经网络进行生物医学图像分析和分割,以便有效地识别和分割不同的细胞类型和结构。

  •  全卷积计算也被用于当前的多层网络时代。Sermanet等人[4]的滑动窗口检测,Pinheiro和Collobert[13]的语义分割,以及Eigen等人[23]的图像恢复都是完全卷积推理。完全卷积训练很少见,但被thompson等人有效地使用[24]学习端到端的部分检测器和用于姿态估计的空间模型,尽管他们没有对这种方法进行展示或分析。
  • 最近的一些研究将卷积神经网络应用于密集预测问题,包括Ning等人[10]的语义分割,Farabet等人的语义分割[12], Pinheiro and Collobert [13];Ciresan等人[11]对电子显微镜的边界预测,以及Ciresan等人对自然图像的边界预测。Ganin and Lempitsky [16]对于自然图像采用混合卷积/最近邻模型,以及Eigen等[23],[25]的图像恢复和深度估计。这些方法的共同元素包括:

 - 小型模型限制容量和感受野:指使用容量较小的模型,这些模型在处理图像时受到了一定程度的限制,通常具有较小的感受野(receptive fields),即在图像中用于感知信息的局部区域。

- 分块训练:指将图像分成小块进行训练,这种方法通常用于处理大尺寸图像或者为了提高训练效率。

- 通过超像素投影、随机场正则化、滤波或局部分类进行细化:描述了一些用于改进分割结果的技术,例如将超像素投影到图像上、应用随机场正则化、滤波或局部分类等方法。

- “交错”以获得密集输出:指通过交错或交叉的方式来获得密集的输出,通常用于生成像素级别的预测结果。

- 多尺度金字塔处理:描述了使用多尺度金字塔(pyramid)来处理图像,以便在不同尺度上进行分析和预测。

- 饱和tanh非线性:指使用饱和tanh函数作为非线性激活函数的一种方法,这种函数在神经网络中常用于引入非线性。

- 集成:描述了使用集成学习方法,将多个模型的预测结果进行整合以获得更好的性能。 这些方法和技术在图像分割和密集预测领域中被广泛使用,用于改进模型的性能和处理各种复杂的图像分析任务。

  • Hariharan等人[14]和Gupta等人[15]同样采用深度分类网络进行语义分割,但采用的是混合提议-分类器模型。这些方法通过采样边界框和/或区域建议来微调R-CNN系统[5],用于检测、语义分割和实例分割。这两种方法都不是端到端学习的。它们分别在PASCAL VOC和NYUDv2上实现了之前的最佳分割结果,因此我们直接将我们的独立端到端FCN与第5节中的语义分割结果进行比较。 

混合提议分类器模型是一种结合了提议生成和分类器的模型,通常用于目标检测和语义分割等任务。在这种模型中,首先通过提议生成算法(如选择性搜索或区域提议网络)生成候选目标的提议(bounding box或像素级别的区域),然后将这些提议输入到分类器中进行目标分类或分割。 这种模型的典型例子是R-CNN(Region-based Convolutional Neural Network)系列模型,包括R-CNN、Fast R-CNN、Faster R-CNN等。在这些模型中,候选目标的提议首先由提议生成算法生成,然后这些提议被送入卷积神经网络进行特征提取和目标分类。这种结合了提议生成和分类器的模型能够有效地处理目标检测和语义分割任务,同时也为后续的模型优化和改进提供了基础。 总的来说,混合提议分类器模型通过结合提议生成和分类器,能够实现对图像中目标的有效检测和分割,是目标检测和语义分割领域的重要模型之一。

  • 我们融合跨层的特征来定义一个非线性的局部到全局的表示,然后进行端到端调优。
  •  在本文会议版之后[17],FCN扩展到新的任务和数据。任务包括区域建议[31]、轮廓检测[32]、深度回归[33]、光流[34]和弱监督语义分割[35]、[36]、[37]、[38]。
  • 此外,新的研究成果对本文提出的fcn进行了改进,进一步推动了语义分割的发展。DeepLab模型[39]通过扩展卷积和密集CRF推理提高了输出分辨率。联合CRFasRNN[40]模型是CRF的端到端集成,有待进一步改进。ParseNet[41]对融合特征进行规范化,并使用全局池捕获上下文。[42]的“反卷积网络”方法通过使用提议、一系列经过学习的反卷积层和上采样操作来恢复图像的分辨率。U-Net[43]结合了跳跃层和学习反卷积,用于显微镜图像的像素标记。[44]的膨胀结构使得充分利用了扩张卷积以实现像素级精确输出,而无需使用随机场或跳跃连接层。

  • </
FCN(Fully Convolutional Networks for Semantic Segmentation)全文翻译 FCN翻译 阅读详情

相关推荐

计算机视觉语义分割——FCN(Fully Convolutional Networks for Semantic Segmentation)

本周主要学习了全卷积神经网络(Fully Convolutional Network, FCN)在语义分割任务中的应用与实现。深入分析了FCN的基本思想、转置卷积的原理及其与上采样的关系,并通过代码实现了FCN模型。研究了双线性插值对转置卷积核的初始化方法以及其在图像放大中的应用。此外,通过Pascal VOC2012数据集,完成了数据预处理、模型训练与测试,验证了FCN在像素级分类任务中的性能。实验结果表明,FCN能够有效地对图像中每个像素进行分类,从而实现语义分割任务。进入路径。

weixin_51454889的博客 1604

论文精读及分析:Fully Convolutional Networks for Semantic Segmentation

  本文主要内容为论文《Fully Convolutional Networks for Semantic Segmentation》 的阅读笔记,在原始论文的基础上加入了自己的一些理解,内容和图片主要参考该论文。其中一部分的翻译参考了 “一生不可自决” 的博客《Fully Convolutional Networks for semantic Segmentation(深度学习经典论文翻译)》...

dugudaibo的博客 1万+

论文笔记《Fully Convolutional Networks for Semantic Segmentation》

《Fully Convolutional Networks for Semantic Segmentation》,CVPR 2015 best paper,pixel level, fully supervised。 主要思路是把CNN改为FCN,输入一幅图像后直接在输出端得到dense prediction,也就是每个像素所属的class,从而得到一个end-to-end的方法来实现ima

July's Pensieve 2万+

【论文翻译】Fully Convolutional Networks for Semantic Segmentation

论文题目:Fully Convolutional Networks for Semantic Segmentation 论文来源:Fully Convolutional Networks for Semantic Segmentation_2015_CVPR 翻译人:BDML@CQUT实验室 Fully Convolutional Networks for Semantic Segmentation Jonathan Long∗ Evan Shelhamer∗ Trevor D

风信子的博客 4355

论文阅读笔记:Fully Convolutional Networks for Semantic Segmentation

【概览&主要贡献】 【问题&解决办法】 如何进行dense prediction 如何refine,得到更好的结果 【结果】

tangwei2014的专栏 3万+

图像分割论文 Fully Convolutional Networks for Semantic Segmentation 阅读笔记

图像分割论文 Fully Convolutional Networks for Semantic Segmentation 阅读笔记原文:Fully Convolutional Networks for Semantic Segmentation 作者:Jonathan Long,Evan Shelhamer,Trevor Darrell 下载地址:https://arxiv.org/abs/160

Cyiano的博客 3220

论文解读:Fully Convolutional Networks for Semantic Segmentation

要点 1. 构建一个全卷积网络,首个支持端到端像素级训练的网络,网络的输入为任意尺寸,输出为等大图像。 2. 在空间密集型预测任务中解释了其应用。 3. 定义跳接结构,结合深层的语义信息和浅层的表征信息产生精准的分割结果 读引言 研究背景 卷积神经网络已经有力推动了识别任务进展,在图像整体分类、结构化输出局部任务取得了明显进展。下一步自然是想获得产生细致的预测,即对每个像素点进行预测。 先前的工作都是对封闭对象或区域分类,分类结果作为目标中每一个像素的标记。这是他们的缺点,也是我们的工作要解决的问题。

海不辞水故其深 2308

【Semantic segmentation】Fully Convolutional Networks for Semantic Segmentation 论文解析

【Semantic segmentation】Fully Convolutional Networks for Semantic Segmentation 论文解析 目录 0. 论文链接 1. 概述 2. Adapting classifiers for dens...

急流勇进 947

论文阅读:Fully Convolutional Networks for Semantic Segmentation

论文阅读:Fully Convolutional Networks for Semantic Segmentation 这篇文章是关于将全卷积网络端到端(End-to-End)地训练,并将其用于语义分割。 摘要 ​ 作者提出了使用全卷积神经网络来接受任意大小的输入,并产生与之相匹配的输出,这样的一个网络在训练和推理的环节效率都很高。作者将这样的密集预测网络与之前的典型的卷积神经网络进行联系,将这些模型的优秀表征能力迁移到语义分割任务中来。进一步地,作者提出了一种用于语义分割的新架构,它可以将网

qq_39109729的博客 1266

全卷积神经网络(Fully Convolutional Network):从图像分类到语义分割

全卷积神经网络(FCN)是一种用于图像语义分割任务的深度学习模型。通过转置卷积和跳跃连接的操作,FCN能够实现对输入图像的像素级别的理解和分割。在本文中,我们介绍了FCN的原理,并提供了一个简单的Python实现示例。通过使用全卷积神经网络,我们可以在图像分割任务中取得更好的效果,提高计算机视觉应用的精度和鲁棒性。希望本文对你理解全卷积神经网络有所帮助!

bug_code702的博客 477

OpenCV卡尺工具实战:5步搞定工业级圆与直线拟合(附完整C++源码)

本文详细介绍了使用OpenCV卡尺测量工具实现工业级圆与直线拟合的5个关键步骤,包括核心原理、环境配置、边缘点提取优化、鲁棒性几何拟合实现及QT集成技巧。通过模块化C++源码和实战案例,帮助开发者快速掌握高精度尺寸测量技术,适用于机械零件、PCB板等工业检测场景。

uran的专栏 844

3分钟搞懂欧式距离变换(EDT):从暴力算法到Felzenszwalb的演进史

本文系统梳理了欧式距离变换(EDT)从暴力算法到高效线性算法的演进历程。重点解析了光栅扫描算法和Felzenszwalb算法的核心思想与实现,并探讨了其在机器人路径规划中生成欧几里得符号距离场(ESDF)的关键应用,为开发者提供了清晰的算法选型与实战指南。

fern8的博客 980

VLP16:使用pointcloud_to_laserscan将三维点云转化为二维LaserScan

velodyne16线激光雷达 VLP16:使用pointcloud_to_laserscan将三维点云转化为二维LaserScan

NEUer_ljx的博客 4625

深度解析快递柜管理系统的C++实现:设计与实现

本文详细介绍了一个基于C++的快递柜管理系统的设计与实现,包括系统需求分析、架构设计、数据库设计、关键功能模块实现和测试与验证。通过详细的代码示例和理论分析,读者可以全面了解如何开发一个完整的快递柜管理系统。希望本文能够为读者在实际项目开发中提供有价值的参考。

m0_57781768的博客 716

pynq-z2 HLS开发

定制Overlay一.用HLS生成一个定制IP功啊啊是合理的创建标题,有助于目录的生成如何改变是式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 一.用HLS生成一个定制IP ...

qq_38769280的博客 4156

大模型部署指南:LM Studio

本文介绍使用LM Studio部署大模型

举世誉之而不加劝,举世非之而不加沮,定乎内外之分,辩乎荣辱之境,斯已矣。 1955

相位编码脉冲压缩信号的理论研究与 Matlab 实现

通过实际的代码示例,我们展示了如何生成信号、进行相位编码、传输信号、相位解码和脉冲压缩的步骤。相位编码脉冲压缩信号是通过在发射端对信号进行相位编码,并在接收端对信号进行相位解码来实现的。其主要原理是在发射端将信号的频率进行调制,使得信号具有宽带特性,然后在接收端通过匹配滤波器对信号进行解调和压缩,从而提高信号的分辨率和抗干扰能力。相位编码脉冲压缩信号是一种在信号处理中常用的技术,用于提高信号的分辨率和抗干扰能力。可以使用 Matlab 中的信号生成函数生成一个宽带脉冲信号,例如矩形脉冲信号或高斯脉冲信号。

CyberWizarDD的博客 908

AI上推荐 之 协同过滤

㐇

Miracle8070 1万+

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

上一篇: 黑马JAVA入门学习笔记7
下一篇: 论文解读-Hybrid Task Cascade for Instance Segmentation
sanguine__
博客等级 码龄7年 584粉丝 66原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值