语义分割之《Fully Convolutional Networks for Semantic Segmentation》论文阅读

FCN的学习及理解(Fully Convolutional Networks for Semantic Segmentation) 论文Fully Convolutional Networks for Semantic Segmentation 是图像分割的milestone论文。理清一下我学习过程中关注的重点。fcn开源代码github下载地址https://github.com/shelhamer/fcn.berkeleyvision.org核心思想该论文包含了当下CNN的三个思潮- 不含全连接层(fc)的全卷积(fu... 阅读详情


  FCN原文链接: Fully Convolutional Networks for Semantic Segmentation
  FCN代码链接: FCN github

  参考

一、FCN简介

  FCNs替换之前的经典网络Alexnet,VGGs,Googlenet等网络结构中的全连接层为卷积层提升了网络的训练速度,采用迁移学习的训练方式对网络进行优化,同时采用skip(现如今大部分网络都会采用的方式)融合低层细节信息和高层语义信息提升网络的性能,是第一个端到端的语义分割网络。

二、FCN结构

在这里插入图片描述

1、全卷积网络

  卷积网络的基本结构包含卷积层,池化层,激活层和全连接层,一般都是以一个层接一层排列,前一层的大小为 h ∗ w ∗ d h*w*d h∗w∗d,其中 h , w h,w h,w为输入数据的高和宽, d d d为该层神经元的通道数也即是个数。假设上一层的输入为 h ∗ w ∗ d h*w*d h∗w∗d,且在 ( i , j ) (i,j) (i,j)处的输入数据为 x i j x_{ij} xij​则输出为:
y i j = f k s ( { X s i + σ i , s j + σ j 0 ≤ σ i , σ j < k } ) y_{ij}=f_{ks}(\lbrace {X_{si+\sigma i, sj+\sigma j}}_{0\le \sigma i, \sigma j \lt k} \rbrace ) yij​=fks​({Xsi+σi,sj+σj​0≤σi,σj<k​})
其中k是可大小,s是补偿, f k s f_{ks} fks​标是该层的类型。和其他网络不同的地方是FCNs中的 f k s f_{ks} fks​没有全连接层,也就是说整个网络中只包含卷积层,池化层和激活层。如下图所示,上半部分是一个正常的分类网络,后三层分别是4096,4096,1000通道的全卷积层,而FCNs中将后三层换成卷积层。传统的CNN使用的全连接层会使得网络丢失部分细节信息且限制了网络的输入大小,替换为全卷积之后可以保留部分细节的同时保证网络能够适应任何尺寸的图像,当然代价是性能上的损失。
在这里插入图片描述

2、上采样

  关于上采样,作者专门用了一小节介绍了空洞卷积(dilated convolution)但是也明确表示网络中并不会使用该结构,而是在3.3节中多次强调线性插值和deconvolution(一般翻译成去卷积,更准确的翻译应该是转置卷积,来自于ZFNet),使用deconvolution可以保证网络的上采样是可学习的,而且相比于其他方法更高效。另外,deconvolution在反向传播中其实就是convolution的相反过程。
在这里插入图片描述

3、SKIP

  将底层次的feature和高层次的feature结合,这样可以融合二者的细节信息和语义信息
在这里插入图片描述

三、实验结果

1、训练

  第一阶段,以经典的网络Alexnet,googlnet,vgg等的网络结构为基础去除后面的全连接层为卷积层:
在这里插入图片描述
  第二阶段,原始网络的输出为16*16*4096最后得到分割的预测图16*16*21(21是对应的类别数量),之后直接上采样为目因为最后上采样32倍因此为FCN-32s。
在这里插入图片描述
  第三阶段将第四个pooling层的预测结果使用skip结构和最终的输出融合,最后上采样16倍,称为FCN-16s。
在这里插入图片描述
  第三阶段将第三个pooling层的预测结果使用skip结构和最终的输出融合,最后上采样8倍,称为FCN-8s。
在这里插入图片描述

2、代码结构

  代码很简单不做过多的描述:

def FCN_8(image_size):
    fcn_8 = FCN_8_helper(image_size)
    #Calculating conv size after the sequential block
    #32 if image size is 512*512
    Conv_size = fcn_8.layers[-1].output_shape[2] 
    
    #Conv to be applied on Pool4
    skip_con1 = Convolution2D(21,kernel_size=(1,1),padding = "same",activation=None, name = "score_pool4")
    
    #Addig skip connection which takes adds the output of Max pooling layer 4 to current layer
    Summed = add(inputs = [skip_con1(fcn_8.layers[14].output),fcn_8.layers[-1].output])
    
    #Upsampling output of first skip connection
    x = Deconvolution2D(21,kernel_size=(4,4),strides = (2,2),padding = "valid",activation=None,name = "score4")(Summed)
    x = Cropping2D(cropping=((0,2),(0,2)))(x)
    
    
    #Conv to be applied to pool3
    skip_con2 = Convolution2D(21,kernel_size=(1,1),padding = "same",activation=None, name = "score_pool3")
    
    #Adding skip connection which takes output og Max pooling layer 3 to current layer
    Summed = add(inputs = [skip_con2(fcn_8.layers[10].output),x])
    
    #Final Up convolution which restores the original image size
    Up = Deconvolution2D(21,kernel_size=(16,16),strides = (8,8),
                         padding = "valid",activation = None,name = "upsample")(Summed)
    
    #Cropping the extra part obtained due to transpose convolution
    final = Cropping2D(cropping = ((0,8),(0,8)))(Up)
    
    
    return Model(fcn_8.input, final)

3、实验结果

1)、相同网络不同结构的对比

  可以明显的看到8s相较于其他两个结构在结果上更加精细而且边界效果更好。
在这里插入图片描述
在这里插入图片描述

1)、不同网络结构的对比

  指标,其中 n i j n_{ij} nij​表示类别i被预测为类被j的数量, n c l n_{cl} ncl​表示类别的数量 t i t_i ti​表示类别i的像素的总数:

  • 像素准确率: ∑ i n i i ∑ i t i \frac{\sum_{i} n_{ii}}{\sum_it_i} ∑i​ti​∑i​nii​​
  • 平均准确率: 1 n c l ∑ i n i i t i \frac{1}{n_{cl}} \frac{\sum_in_{ii}}{t_i} ncl​1​ti​∑i​nii​​
  • 平均IU: 1 n c l ∑ i n i i t i + ∑ j n j i − n i i \frac{1}{n_{cl}}\frac{\sum_in_{ii}}{t_i+\sum_jn_{ji}-n_{ii}} ncl​1​ti​+∑j​nji​−nii​∑i​nii​​
  • 加权IU: ( ∑ k t k ) − 1 ∑ i t i n i i t i + ∑ j n j i − n i i \frac{(\sum_kt_k)^{-1}\sum_it_in_{ii}}{t_i+\sum_jn_{ji}-n_{ii}} ti​+∑j​nji​−nii​(∑k​tk​)−1∑i​ti​nii​​

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、FCNs的缺陷

  • FCNs无法利用不同像素点之间的关联信息;
  • FCNs的速度比较慢;
  • FCNs的分割不是实例级别的(区分个体)
论文精读及分析:Fully Convolutional Networks for Semantic Segmentation   本文主要内容为论文《Fully Convolutional Networks for Semantic Segmentation》 的阅读笔记,在原始论文的基础上加入了自己的一些理解,内容和图片主要参考该论文。其中一部分的翻译参考了 “一生不可自决” 的博客《Fully Convolutional Networks for semantic Segmentation(深度学习经典论文翻译)》... 阅读详情

相关推荐

论文笔记《Fully Convolutional Networks for Semantic Segmentation》

《Fully Convolutional Networks for Semantic Segmentation》,CVPR 2015 best paper,pixel level, fully supervised。 主要思路是把CNN改为FCN,输入一幅图像后直接在输出端得到dense prediction,也就是每个像素所属的class,从而得到一个end-to-end的方法来实现ima

July's Pensieve 2万+

【文献阅读及pytorch实践】FCN:Fully Convolutional Networks for Semantic Segmentation

FCN开源代码: https://github.com/shelhamer/fcn.berkeleyvision.org 可视化prototxt: netron 跑通caffemodel: import numpy as np from PIL import Image import matplotlib.pyplot as plt import caffe # load image, s...

weixin_43578873的博客 760

【论文翻译】Fully Convolutional Networks for Semantic Segmentation

论文题目:Fully Convolutional Networks for Semantic Segmentation 论文来源:Fully Convolutional Networks for Semantic Segmentation_2015_CVPR 翻译人:BDML@CQUT实验室 Fully Convolutional Networks for Semantic Segmentation Jonathan Long∗ Evan Shelhamer∗ Trevor D

风信子的博客 4355

《Fully Convolutional Networks for Semantic Segmentation》阅读及代码实现

论文原文 https://arxiv.org/pdf/1411.4038.pdf 创新点 提出了一种端到端的做语义分割的方法,如图,直接拿分割的ground truth作为监督信息,训练一个端到端的网络,让网络做p像素级别的预测。 如何设计网络结构 如何做像素级别的预测 在VGG16中的第一个全连接层的维度是25088x4096的,将之解释为512x7x7x4096的卷积核,这样最后就会得到一个f...

I good vegetable a! 2425

论文阅读笔记:Fully Convolutional Networks for Semantic Segmentation

【概览&主要贡献】 【问题&解决办法】 如何进行dense prediction 如何refine,得到更好的结果 【结果】

tangwei2014的专栏 3万+

【图像分割】Fully Convolutional Networks for Semantic Segmentation

全卷积网络用于图像语义分割,2015 CVPR Oral,算法详解。

shenxiaolu1984的专栏 1万+

Fully Convolutional Networks for Semantic Segmentation

Fully Convolutional Networks for Semantic Segmentation 论文阅读 论文:Fully Convolutional Networks for Semantic Segmentation(2015 CVPR) 作者:Jonathan Long Evan Shelhamer Trevor Darrell -UC Berkeley 图像分割领域的开山之作 1.1 研究成果 将分类网络改变为全卷积神经网络,具体包括全连接层转换为卷积层以及通过反卷积进行

weixin_49708196的博客 5591

图像分割论文 Fully Convolutional Networks for Semantic Segmentation 阅读笔记

图像分割论文 Fully Convolutional Networks for Semantic Segmentation 阅读笔记原文:Fully Convolutional Networks for Semantic Segmentation 作者:Jonathan Long,Evan Shelhamer,Trevor Darrell 下载地址:https://arxiv.org/abs/160

Cyiano的博客 3220

【论文阅读】Fully Convolutional Networks for Semantic Segmentation FCN阅读、理解和复现

全卷积神经网络(FCN)论文阅读

pl23k的专栏 3126

计算机视觉语义分割——FCN(Fully Convolutional Networks for Semantic Segmentation)

本周主要学习了全卷积神经网络(Fully Convolutional Network, FCN)在语义分割任务中的应用与实现。深入分析了FCN的基本思想、转置卷积的原理及其与上采样的关系,并通过代码实现了FCN模型。研究了双线性插值对转置卷积核的初始化方法以及其在图像放大中的应用。此外,通过Pascal VOC2012数据集,完成了数据预处理、模型训练与测试,验证了FCN在像素级分类任务中的性能。实验结果表明,FCN能够有效地对图像中每个像素进行分类,从而实现语义分割任务。进入路径。

weixin_51454889的博客 1604

论文解读:Fully Convolutional Networks for Semantic Segmentation

要点 1. 构建一个全卷积网络,首个支持端到端像素级训练的网络,网络的输入为任意尺寸,输出为等大图像。 2. 在空间密集型预测任务中解释了其应用。 3. 定义跳接结构,结合深层的语义信息和浅层的表征信息产生精准的分割结果 读引言 研究背景 卷积神经网络已经有力推动了识别任务进展,在图像整体分类、结构化输出局部任务取得了明显进展。下一步自然是想获得产生细致的预测,即对每个像素点进行预测。 先前的工作都是对封闭对象或区域分类,分类结果作为目标中每一个像素的标记。这是他们的缺点,也是我们的工作要解决的问题。

海不辞水故其深 2308

【论文笔记】FCN:Fully Convolutional Networks for Semantic Segmentation

《Fully Convolutional Networks for Semantic Segmentation》,CVPR 2015论文核心思想: 建立全卷积网络,使其可以输入任意大小的图片,并输出一个与原图像大小相同的像素级分类结果,即 dense prediction。论文所采用的经典分类网络:将这三种网络改造成全卷积网络,将它们学习的特征表示经过 fine-tuning 转换到分割任务上来。【论文中提到,经过改造后,达到最高分类精度的是 VGG-16】论文所采用的数据集:什么是 spatially d

学习 & 分享 ~ 1万+

【Semantic segmentation】Fully Convolutional Networks for Semantic Segmentation 论文解析

【Semantic segmentation】Fully Convolutional Networks for Semantic Segmentation 论文解析 目录 0. 论文链接 1. 概述 2. Adapting classifiers for dens...

急流勇进 947

FCN网络(Fully Convolutional Networks for Semantic Segmentation)

一.概述 FCN是深度学习应用在图像分割的代表作, 是一种端到端(end to end)的图像分割方法, 让网络做像素级别的预测直接得出label map。因为FCN网络中所有的层都是卷积层,故称为全卷积网络。 全卷积神经网络主要使用了三种技术: 卷积化(Convolutional) 上采样(Upsample) 跳跃结构(Skip Layer) 二.网络结构 F...

bestrivern的博客 2万+

论文阅读:Fully Convolutional Networks for Semantic Segmentation

论文阅读:Fully Convolutional Networks for Semantic Segmentation 这篇文章是关于将全卷积网络端到端(End-to-End)地训练,并将其用于语义分割。 摘要 ​ 作者提出了使用全卷积神经网络来接受任意大小的输入,并产生与之相匹配的输出,这样的一个网络在训练和推理的环节效率都很高。作者将这样的密集预测网络与之前的典型的卷积神经网络进行联系,将这些模型的优秀表征能力迁移到语义分割任务中来。进一步地,作者提出了一种用于语义分割的新架构,它可以将网

qq_39109729的博客 1266

基于STM32的家用新风系统智能控制器 | 保姆式教程 开源可复刻

本项目基于STM32F103C8T6核心控制器,完整实现了家用新风系统智能控制器的全功能开发,覆盖多传感器数据采集、双模式控制、PID调速、异常报警、掉电记忆等核心功能,全程采用保姆式无跳步教学,从硬件选型、接线、CubeMX配置、代码开发、调试排坑全流程拆解,跟着步骤一步步操作,就能顺利完成项目复刻

ZhongWeiXiang9的博客 471

CNN之FCN:《Fully Convolutional Networks for Semantic Segmentation用于语义分割的全卷积网络》的翻译与解读

​ CNN之FCN:《Fully Convolutional Networks for Semantic Segmentation用于语义分割的全卷积网络》的翻译与解读 目录 《Fully Convolutional Networks for Semantic Segmentation》的翻译与解读 FCN的简介 《Fully Convolutional Networks for Semantic Segmentation》的翻译与解读 地址 论文地址:https://arxiv.org/ab

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 1万+

【在英伟达nvidia的jetson-orin-nx上使用调试can基础收发-硬件连接-开机自启动can-初步调试】

近期开始学习英伟达的工控板,作为新手还是有很多不同懂得地方,但是一部分它用的linux系统,有点像玩树莓派,通过自己一段时间学习can调试,终于可以简单通信了。开始的时候,自己也是什么都不是很懂,从新手一点点摸索过来,现在使用工控机,简单can通信也已经没有问题了,算是有些进步吧。每一步走的都很艰辛,需要反复验证,才能准去无误,开始以为发送没有问题就没事了,没想到发送可以却接受不行,每一步都要反复确认啊,这个问题会持续关注下吧。

qq_22146161的博客 6125
上一篇: 语义分割综述《A SURVEY ON DEEP LEARNING-BASED ARCHITECTURES FOR SEMANTIC SEGMENTATION ON 2D IMAGES》论文翻译
下一篇: python单例模式(可继承)
落樱弥城
博客等级 码龄10年 481粉丝 202原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值