【论文阅读】Fully Convolutional Networks for Semantic Segmentation

论文详解-Fully Convolutional Networks for Semantic Segmentation 全卷积网络是一类丰富的模型,可以解决许多像素级的任务。用于语义分割的fns通过传递预训练的分类器权重、融合不同的层表示以及在整个图像上进行端到端学习来显著提高准确率。端到端,像素到像素的操作同时简化并加速了学习和推理。本文的所有代码在Caffe中都是开源的,并且所有模型都可以在Caffe模型动物园中免费获得。进一步的工作已经证明了全卷积网络在各种图像到图像任务中的通用性。%5Csum。 阅读详情

1.Introduction

卷积神经网络不仅推动了图像分类任务的发展,也促进了定位任务的发展,例如bounding box。

可以很自然的想到定位任务的下一步应该是语义分割(semantic segmentation),其实就是每一个像素点都有一个所属的类别标签。但是之前的方法或多或少都有一些缺点,而本文提出的方法可以解决这些缺点。

在本文中,我们提出FCN(fully convolutional network),是一种端到端、像素到像素的语义分割方法,超过了现有的顶尖算法。我们是第一个训练端到端的FCN:1)像素级别的预测;2)有监督的预训练。现有网络的全卷积版本可以预测任意大小输入的dense output。网络的训练和推理都是通过密集(dense)的前向计算和后向传播一次完成的。在网络中,上采样层(upsampling layers)通过subsampled pooling实现像素级别的预测和学习。

dense prediction:预测出图像中每个像素点的所属类别。

我们的方法是有效的,不会有其他方法的复杂性。基于patchwise的预测是其他很多方法所应用的,但是相比FCN,其缺乏效率。此外,我们的方法不使用预处理和后处理复杂度。我们将最近表现优异的分类模型转化成FCN(使其得到dense prediction)并进行fine-tuning。相比之下,转化前的网络使用small convnets,并且没有进行有监督的预训练。

pixelwise:像素级别。
patchwise:patch级别。
imagewise:图像级别。

语义分割面临着semantics和location之间的冲突:全局信息决定着是什么,而局部信息决定着在哪里。在非线性的局部到全局的金字塔中,深层特征的层级结构决定着semantics和location。在本文的第4.2部分,我们定义了一个skip architecture来利用刚提到的特征谱(feature spectrum),它结合了深层且粗糙的语义信息和浅层且精细的外在信息。

在下一部分,我们回顾了一些深度分类网络,FCN,近期进行语义分割的一些卷积网络。随后的部分我们会介绍FCN设计和dense prediction之间的权衡取舍(tradeoffs),以及我们所用架构中的上采样和多层结合策略。最后,我们测试了在PASCAL VOC 2011-2、NYUDv2和SIFT Flow上的最优结果。

2.Related work

我们的方法借鉴了在图像分类和迁移学习方面的成功经验。迁移学习在识别任务、检测任务、实例分割(instance segmentation)、语义分割方面都有应用。我们重新构建并fine-tune了这些分类网络,使其可以直接dense prediction,进行语义分割。

👉Fully convolutional networks

据我们所知,将卷积网络输入扩展到任意大小的想法最早出现在论文“O. Matan, C. J. Burges, Y. LeCun, and J. S. Denker. Multi-digit recognition using a space displacement neural network. In NIPS, pages 488–495. Citeseer, 1991.”中,他们将LeNet扩展到识别数字串。由于他们的网络仅限于一维输入,所以他们使用Viterbi decoding来获得输出。论文“R. Wolf and J. C. Platt. Postal address block location using a convolutional locator network. Advances in Neural Information Processing Systems, pages 745–745, 1994.”将卷积网络的输出扩展到二维。

全卷积计算(Fully convolutional computation)也在当今得到了利用。全卷积推理(fully convolutional inference)在滑动窗口检测、语义分割和图像恢复等领域都有应用。全卷积训练(Fully convolutional training)很少见。

论文“K.He, X.Zhang, S.Ren,and J.Sun. Spatial pyramid pooling in deep convolutional networks for visual recognition. In ECCV, 2014.”通过移除分类网络中的非卷积部分,制作了一个特征提取器。他们通过结合proposals和spatial pyramid pooling来产生用于分类的局部(localized)且固定长度(fixed-length)的特征。这个方法虽然快速有效,但是这种混合模型无法进行端到端的学习。

👉Dense prediction with convnets

近期有一些方法将卷积网络用于dense prediction。这些方法的共通点有:

  • capacity和receptive fields受限的小型模型。
  • patchwise级别的训练。
  • 都采用了一些后处理的方法,例如superpixel projection, random field regularization, filtering或者local classification。
  • 输入移位和dense输出的隔行交错输出。
  • 多尺度金字塔处理。
  • 饱和双曲正切非线性。
  • 集成。

模型的capacity指的是模型能拟合复杂函数的能力,代表着模型的学习能力。如果学习能力过强,而数据过于简单,则容易出现过拟合现象。

虽然我们的方法并没有应用这些机制。但是我们从FCN的角度研究了patchwise training(见第3.4部分)和“shift-and-stitch” dense output(见第3.5部分)。我们还在第3.3部分讨论了上采样(upsampling)。

不同于现有的方法,我们采用并扩展了深度分类框架,使用图像分类作为有监督的预训练,并全卷积地进行fune-tune,使从whole image inputs到whole image ground thruths的学习变得简单有效。

也有些方法通过对bounding box和region proposal进行采样来fine-tune R-CNN,使其可应用于检测、语义分割、实例分割等任务。这些方法都不是端到端的。但它们依然在PASCAL VOC和NYUDv2中取得了SOTA(state-of-the-art)的分割结果,所以我们在第5部分直接用端到端的FCN和这些方法做了比较。

NYUDv2(NYU Depth Dataset V2)数据集由微软Kinect的RGB和Depth摄像机记录的各种室内场景的视频序列组成。它的特点:

  1. 1449张标注的RGB图片和深度图。
  2. 来自3个城市,464个场景。
  3. 407024张没有标注的图片。

我们跨层融合特征以定义非线性局部到全局的表示,并对其进行端到端的调整。

3.Fully convolutional networks

卷积网络中每一层的数据都是三维的: h × w × d h\times w \times d h×w×d,其中, h h h和 w w w为空间维度, d d d为通道维度。第一层为输入图像,此时, h × w h\times w h×w为输入图像的大小, d d d为输入(彩色)图像的通道数。

卷积网络基于平移不变性(translation invariance)建立。网络的基本组件(卷积、pooling、激活函数)作用在输入的局部区域上,并且仅依赖于相对空间坐标。使 x i j \mathbf{x}_{ij} xij​为某一层 ( i , j ) (i,j) (i,j)处的数据向量(向量大小为 d × 1 d\times 1 d×1), y i j \mathbf{y}_{ij} yij​为下一层的值(即 ( i , j ) (i,j) (i,j)位置对应的输出), y i j \mathbf{y}_{ij} yij​的计算见下:

y i j = f k s ( { x s i + δ i , s j + δ j } 0 ⩽ δ i , δ j ⩽ k ) \mathbf{y}_{ij}=f_{ks} ( \{ \mathbf{x}_{si+\delta i , sj+\delta j} \} _ {0 \leqslant \delta i , \delta j \leqslant k}) yij​=fks​({xsi+δi,sj+δj​}0⩽δi,δj⩽k​)

其中, k k k为kernel的大小, s s s为步长或下采样因子(subsampling factor)。 f k s f_{ks} fks​可以是:用于卷积或average pooling的矩阵乘法;max pooling的空间最大值;elementwise非线性的激活函数等。

平移不变性(Translation Invariance):在图像分类任务中,不变性意味着,当所需要识别的目标出现在图像的不同位置时,模型对其识别所得到的标签应该相同。即当输出进行变换后,还能得到相同的输出。

平移相等性(Translation Equivariance):指在目标检测任务中,如果输入的图像中,对应的目标发生了平移,那么最终检测出的候选框也应发生相应的变化。即对输入进行变换后,输出也会发生相应的变换。

kernel的大小和步长遵循以下转换规则:

f k s ∘ g k ′ s ′ = ( f ∘ g ) k ′ + ( k − 1 ) s ′ , s s ′ f_{ks} \circ g_{k's'} = (f \circ g) _{k' + (k-1)s',ss'} fks​∘gk′s′​=(f∘g)k′+(k−1)s′,ss′​

f ∘ g f \circ g f∘g表示 f f f与 g g g的合成函数或复合函数。例如: ( g ∘ f ) ( x ) = g ( f ( x ) ) (g\circ f) (x) = g(f(x)) (g∘f)(x)=g(f(x))。

举个例子解释下上式,比如 f f f为 3 × 3 3 \times 3 3×3的kernel,步长为1; g g g也一样。此时有 f 31 ∘ g 31 = ( f ∘ g ) 51 f_{31} \circ g_{31} = (f \circ g) _{51} f31​∘g31​=(f∘g)51​,即连续两个 3 × 3 3\times 3 3×3的kernel(步长均为1),相当于一个 5 × 5 5\times 5 5×5的kernel(步长也为1)。

如果一个网络只通过这种方式计算非线性filter,则我们称这种网络为deep filter或fully convolutional nerwork(FCN)。FCN可以很自然的处理各种大小的输入,并生成相应空间维度的输出(可能涉及重采样)。

FCN使用实值损失函数(a real-valued loss function)。损失函数可定义为最后一层空间维度的和:

ℓ ( x ; θ ) = ∑ i j ℓ ′ ( x i j ; θ ) \ell (\mathbf{x};\theta) = \sum_{ij} \ell ' (\mathbf{x}_{ij};\theta) ℓ(x;θ)=ij∑​ℓ′(xij​;θ)

其梯度将是其每个空间分量梯度的总和。因此在整幅图像上,基于 ℓ \ell ℓ的随机梯度下降计算和基于 ℓ ′ \ell ' ℓ′的随机梯度下降结果是一样的,将最后一层的所有感受野(receptive field)作为一个minibatch。

当感受野重叠区域很大时,前馈计算和反向传播会比逐块(patch-by-patch)单独计算时更有效。

点击此处帮助理解上一段话。

接下来我们会介绍如何将分类网络转化成FCN,使其可以输出coarse output maps。对于像素级别的预测,我们需要将coarse outputs映射回像素。为了达到此目的,我们将在第3.2部分介绍快速扫描。在第3.3部分介绍反卷积层(deconvolution layers)用于上采样。第3.4部分,我们考虑通过patch级别的采样(patchwise sampling)进行训练。并且在第4.3部分,证明了我们所使用的全图训练方法(whole image training)更为快速,且同样有效。

3.1.Adapting classifiers for dense prediction

典型的识别网络,例如LeNet、AlexNet以及后续更深的网络框架,其输入大小都是固定的,然后产生非空间型的输出(即输出是一个类别而不是一个map)。并且这些网络全连接层的大小都是固定的,丢弃了空间坐标。但是这些全连接层也可以被视为卷积层。这样网络就可以接受任意大小的输入并输出分类图(classification maps)了。转换示意图见Fig2。

Fig2展示了如何将全连接层转换成卷积层使其可以输出heatmap。添加层和spatial loss(如Fig1所示)可以为端到端的dense learning提供有效的机制。

此外,结果输出的map相当于是原始输入图像不同patch的评估,并且这些patch重叠区域的计算是共享的。例如,AlexNet推理一幅 227 × 227 227\times 227 227×227大小的图像需要1.2ms,而FCN只需22ms就能从 500 × 500 500\times 500 500×500的图像中输出 10 × 10 10\times 10 10×10的grid,速度快了将近5倍。

grid中的每个点在输入层面的感受野都是 227 × 227 227 \times 227 227×227,所以FCN相当于用了22ms预测了 10 × 10 = 100 10\times 10=100 10×10=100幅 227 × 227 227 \times 227 227×227patch的类别,而AlexNet预测100幅 227 × 227 227 \times 227 227×227图像需要 1.2 × 100 = 120 1.2\times 100=120 1.2×100=120ms,所以说快了将近5倍。

由于每个输出单元(output cell,对应输入图像的每个像素点)都有GT,所以前向和反向传播都很直截了当。AlexNet在单张图像上反向传播一次的时间是2.4ms,对应的FCN(输出 10 × 10 10 \times 10 10×10的map)反向传播一次的时间是37ms,这导致了与前向传播类似的速度提升。

虽然我们将分类网络重新解释为了FCN,但因为下采样(比如pooling)的关系,网络的输出维度小于原始图像的维度。这使得这些分类网络的FCN版本的输出变得粗糙(即输出维度不能和原始图像中的每个像素点做到一一对应,无法进行语义分割)。实际上最终生成的map比原始图像缩小s倍,s为下采样时stride的乘积(即累积下采样步长)。

这一部分主要介绍了如何将分类网络转换成FCN(即把FC层转换成卷积层),但此时得到的输出map是粗糙的,和原始图像无法一一对应。

3.2.Shift-and-stitch is filter rarefaction

通过拼接(stitch)输入的移位(shift)版本的输出,可以从coarse output中获得dense prediction。假设下采样因子为 f f f(即通过多次下采样得到的output map的size是input size的 1 f \frac{1}{f} f1​),平移(shift)输入图像,偏移量为 ( x , y ) (x,y) (x,y), x x x表示输入图像向右移动的像素个数(下图的例子中 x x x为向左移动的像素个数,例子和原文中的方向相反,不影响理解,下同), y y y表示输入图像向下移动的像素个数(下图的例子中 y y y为向上移动的像素个数),其中有 0 ⩽ x , y < f 0 \leqslant x,y < f 0⩽x,y<f。因此我们共可以得到 f 2 f^2 f2个input,自然也可以得到 f 2 f^2 f2个output,将所有output拼接(stitch)在一起得到和input size一样的dense prediction。拼接方法为:output map中的每个点都在原始图像上对应一个patch(即对应的感受野),则该点的预测结果便可视为对应的感受野的中心像素点的预测类别。

举个例子,假设网络只有一层 2 × 2 2\times 2 2×2的max pooling,且stride=2,所以有 f = 2 f=2 f=2,output map中每个点对应的感受野大小为 2 × 2 2\times 2 2×2,将右下角的位置视为感受野的中心:

这个其实有点类似滑动窗口的思想,只不过是不修改输出的维度(如果是分类模型,则输出就是 1 × C 1\times C 1×C, C C C为类别数),变为移动input,使input的每个像素点轮流作为感受野的中心。

shift-and-stitch这个方法会使计算成本增加 f 2 f^2 f2倍,但是有一个trick(即filter rarefaction)可以更有效的得到一样的结果。还是用上面的例子,如果把max pooling的stride设为1可以得到一样的结果。这个原理也很好理解,因为每次移动input一个像素就相当于input不动,移动filter一步。但是上述例子是假设网络只有一个max pooling层,而实际情况是网络通常由多个卷积层、pooling层组成,如果还是仅仅把下采样层的stride改为1无法得到相同的结果。解决这一问题的办法是扩展原来的filter。考虑某一下采样层,其stride=s,后接一个卷积层,卷积核权重为 f i j f_{ij} fij​,记input大小为 w × h w\times h w×h,想得到dense prediction有两种方式:

  1. shift and stitch。过程为:shift input,得到 s 2 s^2 s2个inputs,然后分别经过subsampling layer得到 s 2 s^2 s2个outputs,这些outputs又分别通过后续的conv层,得到 s 2 s^2 s2个outputs,最后stitch这 s 2 s^2 s2个outputs得到最终大小为 w × h w\times h w×h的output。
  2. filter rarefaction。将下采样层的stride改为1,同时将后接卷积层的filter按如下方式dilate:

f i j ′ = { f i / s , j / s , if s divides both i and j; 0 , otherwise, f'_{ij} = \begin{cases} f_{i/s,j/s}, & \text{if s divides both i and j;} \\ 0, & \text{otherwise,} \end{cases} fij′​={fi/s,j/s​,0,​if s divides both i and j;otherwise,​

如果按照方式1继续下一层的卷积:

如果按照方式2继续下一层的卷积:

可以看到,两种策略得到的结果是一样的。

在方式2中,如果只是把后接卷积层的stride改为1,则无法得到和方式1一样的结果。尽管维度可以保持一致。

减少网络中的下采样是一种tradeoff的方法:虽然filter可以获得更详细的信息,但是感受野变小了,计算时间也更长。同样,shift-and-stitch也是一种tradeoff的方法:虽然可以在不减小感受野的前提下获得dense prediction,但是filter却无法获得更详细的信息。

虽然我们对shift-and-stitch进行了一些实验,但是我们并没有在我们的模型中使用它。我们发现上采样(upsampling)是一种更为有效的方法。我们将在下一节介绍上采样。

3.3.Upsampling is backwards strided convolution

另一种从coarse outputs到dense outputs的方法是插值(interpolation)。

反卷积(backwards convolution或deconvolution)是一种自然的上采样方式。通过插值+卷积的方式实现,有两种实现方式:

在网络上查阅资料时,也有人说ZFNet中的反卷积方法才是标准的。

反卷积所用的filter不需要固定,是可以被学习的,即通过梯度下降法进行参数更新。

我们通过实验发现上采样是一种更为快速和有效获得dense prediction的方法。我们最佳的分割框架就使用了这种方法(详见第4.2部分)。

3.4.Patchwise training is loss sampling

patchwise的训练和全卷积训练都可以产生任意的分布,其计算效率取决于重叠部分和minibatch的大小。

在第4.3部分,我们尝试了采样训练(training with sampling),但是发现这样并不能使dense prediction更快收敛。全图训练(whole image training)更有效。

4.Segmentation Architecture

我们将ILSVRC中的分类模型转换成FCN,通过上采样和pixelwise loss使其进行dense prediction。我们通过fine-tune训练分割模型。并且,我们在层之间增加skip,以融合粗糙语义信息和局部外观信息。

我们的训练和验证都基于PASCAL VOC 2011分割挑战(所用的数据集)。训练时忽略了难以定义GT的像素(比如过于模糊)。

4.1.From classifier to dense FCN

我们考虑了AlexNet(使用Caffe提供的版本)、VGG16(使用Caffe提供的版本)和GoogLeNet(目前没有GoogLeNet的官方公开版本,所以这里我们使用自己实现的版本,在ILSVRC上获得了68.5%的top-1准确率和88.4%的top-5准确率)。在这个任务下,我们发现VGG16和VGG19有着一样的表现。对于GoogLeNet,我们只使用了最后的loss layer,并通过去掉最后的average pooling layer提升了模型性能。对于每个分类网络模型,最后的分类层都被丢弃,并将FC层转换成卷积层。测试结果见表1:

在表1中,我们将这三个分类模型都扩展为FCN。基于PASCAL VOC 2011验证集,我们比较了三种FCN模型的平均IoU(即mean IU)以及推理时间(取20次实验的均值,输入为 500 × 500 500\times 500 500×500大小,使用的显卡为NVIDIA Tesla K40c)。我们还列出了一些其他的细节:参数层的数量、感受野的大小(rf size)以及最大步长。这些结果是基于固定学习率得到的最优结果。

结合Fig3,明白了这里说的最大步长(max stride)指的是通过5次上采样,每次步长为2,所以是 2 5 = 32 2^5=32 25=32。

fine-tune由分类模型转换得到的分割模型。即使是最差的模型,也达到了SOTA方法大约75%的性能。FCN-VGG16在验证集上的平均IoU达到了56.0(SOTA),在测试集上为52.6。使用额外的数据进行训练将FCN-VGG16的mean IU提升至59.4,FCN-AlexNet的mean IU提升至48.0。尽管VGG16和GoogLeNet在分类任务中有着相近的表现,但是在分割任务中,二者表现却相差甚远。

4.2.Combining what and where

除了基于原有的分类模型进行改造,我们也提出了一个新的用于分割的FCN模型,见Fig3:

Fig3也很好理解,第一行为普通的FCN结构,通过32倍上采样(即5次上采样),称为FCN-32s(第4.1部分的模型基本都属于FCN-32s)。为了能让浅层精细的信息和深层粗糙的信息结合起来,作者添加了skip。Fig3的第二行将conv7上采样一次(即2x)后和pool4相结合(可以理解为拼接在一起,二者维度是一样的),然后上采样4次(即16x),这种结构称为FCN-16s。类似的,Fig3的第三行,conv7上采样2次+pool4上采样1次+pool3拼接在一起,然后上采样3次(即8x),这样的结构称为FCN-8s。3种结构的结果见Fig4:

FCN-32s的分割效果最差。FCN-16s稍微好一点,FCN-8s效果最优。

使用FCN-32s的参数初始化FCN-16s,FCN-16s新增的参数用0初始化。

skip结构的加入将FCN-16s在验证集上的mean IU提升至62.4,FCN-8s在验证集上的mean IU提升至62.7。

表2中,FCN-32s-fixed指的是只有最后一层被fine-tune,FCN-32s基于VGG16。

👉Refinement by other means

降低pooling层的步长是得到更精细预测结果最直接的方法。但是我们基于VGG16的模型并不适合这种办法,如果我们把pool5的步长改为1,就需要FC6使用 14 × 14 14\times 14 14×14大小的kernel,这样做除了增加计算成本之外,我们很难学习一个这么大的卷积核。我们尝试重新构建pool5之前的层以使得FC6可以使用更小的卷积核,但是这样做效果并不好,一个可能的解释是上层的ILSVRC初始化很重要。

另一个获得更精细结果的方法是使用shift-and-stitch(见第3.2部分)。但在有限的实验中,我们发现这种方法的提升成本比分层融合(layer fusion,即本节介绍的拼接不同层的方法)要差。

4.3.Experimental framework

👉Optimization: 训练使用MBGD+momentum,minibatch size=20。学习率是固定的,FCN-AlexNet的学习率为 10 − 3 10^{-3} 10−3,FCN-VGG16的学习率为 10 − 4 10^{-4} 10−4,FCN-GoogLeNet的学习率为 5 − 5 5^{-5} 5−5。momentum=0.9,weight decay= 5 − 4 5^{-4} 5−4或 2 − 4 2^{-4} 2−4。我们使用0初始化class scoring layer,因为随机初始化既不能加快收敛也不能获得更好的性能。原始分类网络的dropout被保留。

👉Fine-tuning: 我们fine-tune了所有层。从表2可以看到,只fine-tune最后一层只能获得fine-tune所有层70%的性能。考虑到训练原始分类网络所需要的时间,training from scratch显然是不可行的。在单块GPU上,通过fine-tune得到FCN-32s花了三天时间。然后又各花了一天时间升级得到FCN-16s和FCN-8s。

👉More Training Data: PASCAL VOC 2011分割训练集有1112张带标签图像。此外,又使用了“B. Hariharan, P. Arbelaez, L. Bourdev, S. Maji, and J. Malik. Semantic contours from inverse detectors. In International Conference on Computer Vision (ICCV), 2011.”提供的8498张带标签的PASCAL训练图像。更多的训练数据使得FCN-VGG16的mean IU提升了3.4,达到了59.4。

👉Patch Sampling: 如Fig5所示,全图训练和patch sampling的效果差不多(见Fig5左),但是全图训练的收敛速度更快(见Fig5右)。

👉Class Balancing: 全卷积训练可以通过加权或采样的方法来进行类别平衡。虽然我们的类别很不平衡(大约3/4都是背景),但是我们发现类别平衡不是必要的。

👉Dense Prediction: 通过反卷积得到和输入维度一样的输出。

👉Augmentation: 我们尝试通过镜像和抖动来扩展训练数据集,但是发现并没有带来性能的提升。

👉Implementation: 所有模型的训练和测试都使用Caffe,并基于单个NVIDIA Tesla K40c GPU。我们的模型以及代码都是开源的,地址:https://github.com/shelhamer/fcn.berkeleyvision.org。

5.Results

我们在语义分割和场景解析任务(基于PASCAL VOC,NYUDv2,SIFT Flow数据集)中测试了FCN。

👉Metrics: 模型评估使用以下常用指标( n i j n_{ij} nij​表示类别 i i i被预测为类别 j j j的像素点个数, t i = ∑ j n i j t_i = \sum_j n_{ij} ti​=∑j​nij​表示真实类别为 i i i的像素点的个数, n c l n_{cl} ncl​表示类别个数):

  • pixel accuracy:

∑ i n i i / ∑ i t i \sum_{i} n_{ii} / \sum_i t_i i∑​nii​/i∑​ti​

  • mean accuraccy:

( 1 / n c l ) ∑ i n i i / t i (1/n_{cl}) \sum_i n_{ii} / t_i (1/ncl​)i∑​nii​/ti​

  • mean IU:

( 1 / n c l ) ∑ i n i i / ( t i + ∑ j n j i − n i i ) (1/n_{cl}) \sum_i n_{ii} / (t_i +\sum_j n_{ji} - n_{ii}) (1/ncl​)i∑​nii​/(ti​+j∑​nji​−nii​)

  • frequency weighted IU:

( ∑ k t k ) − 1 ∑ i t i n i i / ( t i + ∑ j n j i − n i i ) (\sum_k t_k)^{-1} \sum_i t_i n_{ii} / (t_i +\sum_j n_{ji} - n_{ii}) (k∑​tk​)−1i∑​ti​nii​/(ti​+j∑​nji​−nii​)

👉PASCAL VOC: FCN-8s在PASCAL VOC 2011和2012测试集上的表现见表3。并和之前SOTA的方法:SDS、R-CNN进行比较。FCN-8s取得了最高的mean IU,并且推理速度也快了很多。

在Fig6中,基于PASCAL数据集,我们展示了我们的最优模型FCN-8s和之前SOTA的方法SDS的结果对比。

👉NYUDv2: 我们的测试结果基于标准的数据集:795张训练图像和654张测试图像。测试结果见表4。加入深度信息后,结果稍微变好了一点(FCN-32s RGB vs. FCN-32s RGBD)。我们也尝试了以HHA作为输入。最终,FCN-16s RGB-HHA取得了最好的结果。

HHA:

  • H:horizontal disparity,水平视差。
  • H:height above ground,离地高度。
  • A:the angle of the local surface normal with the inferred gravity direction,局部表面法线与推断重力方向的角度。

👉SIFT Flow: 该数据集包含有2688张带像素标签的图像,共有33个语义类别(例如桥、山、太阳等)和3个几何类别(水平、垂直和天空)。FCN可以学习并预测两种类型标签的联合表示。结果见表5。数据集划分为2488张训练图像和200张测试图像。FCN-16s在两种标签任务中都是表现最优的。

6.Conclusion

FCN是一类丰富的模型,分类网络就是其中的一个特例。将分类网络扩展到语义分割,并通过multi-resolution layer combinations来改善网络结构,达到SOTA,并且简化和加快了学习和推理速度。

7.原文链接

👽Fully Convolutional Networks for Semantic Segmentation

8.参考资料

  1. 一文读懂语义分割与实例分割
  2. 【数据集】——NYU Depth Dataset V2简介
  3. 关于平移不变性与平移相等性的理解与讨论
  4. Shift and stitch理解
  5. FCN于反卷积(Deconvolution)、上采样(UpSampling)
全卷积网络FCN进行图像分割 背景CNN能够对图片进行分类,可是怎么样才能识别图片中特定部分的物体,在2015年之前还是一个世界难题。神经网络大神Jonathan Long发表了《Fully Convolutional Networks for Semantic Segmentation》在图像语义分割挖了一个坑,于是无穷无尽的人往坑里面跳。全卷积网络 Fully Convolutional NetworksCNN 与 FCN通 阅读详情

相关推荐

FCN(Fully Convolutional Networks for Semantic Segmentation)全文翻译

FCN翻译

人还未醒的博客 2040

Fully Convolutional Networks for Semantic Segmentation

Fully Convolutional Networks for Semantic Segmentation 论文阅读 论文:Fully Convolutional Networks for Semantic Segmentation(2015 CVPR) 作者:Jonathan Long Evan Shelhamer Trevor Darrell -UC Berkeley 图像分割领域的开山之作 1.1 研究成果 将分类网络改变为全卷积神经网络,具体包括全连接层转换为卷积层以及通过反卷积进行

weixin_49708196的博客 5591

论文阅读笔记:Fully Convolutional Networks for Semantic Segmentation

【概览&主要贡献】 【问题&解决办法】 如何进行dense prediction 如何refine,得到更好的结果 【结果】

tangwei2014的专栏 3万+

【论文阅读】Fully Convolutional Networks for Semantic Segmentation FCN阅读、理解和复现

全卷积神经网络(FCN)论文阅读

pl23k的专栏 3126

论文阅读:Fully Convolutional Networks for Semantic Segmentation

论文阅读:Fully Convolutional Networks for Semantic Segmentation 这篇文章是关于将全卷积网络端到端(End-to-End)地训练,并将其用于语义分割。 摘要 ​ 作者提出了使用全卷积神经网络来接受任意大小的输入,并产生与之相匹配的输出,这样的一个网络在训练和推理的环节效率都很高。作者将这样的密集预测网络与之前的典型的卷积神经网络进行联系,将这些模型的优秀表征能力迁移到语义分割任务中来。进一步地,作者提出了一种用于语义分割的新架构,它可以将网

qq_39109729的博客 1266

数学建模传染病模型_【数学建模】之传染病模型

点击【拇指笔记】,关注我的公众号。SE模型缺点:没有考虑接触到的人中还有一部分病人,所以所有人并不会全部被感染。建立模型:已感染人数(病人)每个病人每天有效接触(足以使人致病)人数为根据(1)(2)可以建立模型:等式两边同时除以\Delta t由导数定义有同时,取\Delta t = 1天由(1)(5)两式可得最终的模型:Logistic模型缺点:区分已感染者(病人)和未感染者(健康人)...

weixin_39590453的博客 2228

《Fully Convolutional Networks for Semantic Segmentation》论文阅读

题外话 \quad这篇论文是拿到了CVPR2015 best paper候选的,意义可见一般。 算法总体原理 \quad算法第一次提出end2end来做语义分割的网络,简称为FCN。 FCN网络的结构如上,直接用原图像的ground truth作为监督信息,训练一个端到端的网络,让网络做像素级别的预测,直接预测标签(mask)图像。 算法的Trick1 \quad将传统网络如AlexNet,VG...

I good vegetable a! 381

Remosaic 算法

在 4in1 传感器中,相邻的 4 个同色像素(如 4 个红色、绿色或蓝色像素)合并为 1 个“超级像素”,以提升低光环境下的感光能力。例如,在 RGGB 排列中,每个 2x2 的 Quad 单元需要恢复为 4 个独立的 R、Gr、Gb、B 像素1。:传感器通过硬件级 Remosaic 直接输出 4800 万像素的原始数据,每个像素独立记录颜色信息,解析力更高2。:传感器仅输出 1200 万像素数据,再通过软件算法插值放大到 4800 万像素,实际解析力无本质提升2。的原始数据转换为传统。

Damon_X的博客 3735

【论文阅读】Fully convolutional networks for semantic segmentation

Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 3431-3440. 核心思想:接受任意大小的输入并通过有效的推理和学习产生相应大小的输出“的“全卷积”的网络。 基于传统的CNN的图像分割方法: 为了对

w.here的CSDN 871

超详细 Git创建仓库及上传项目至Github操作(Windows系统)

文章目录前言一、Git下载及安装二、创建代码仓库1.配置身份2.创建本地仓库3.提交本地代码三、使用Git上传代码至Github1.创建ssh keys2.在Github中新建仓库3.关联本地仓库与Github仓库4.推送代码至Github仓库总结 前言 本文对于Windows系统上git的安装及基本使用方法进行简单介绍,并介绍如何使用git将仓库中的项目上传至个人的Github中去。内容参考《第一行代码》以及一些博客。 本文适合新手阅读哦~ 一、Git下载及安装 打开网站 git下载 下载安装包(直接

lijianyi0219的博客 2万+

MATLAB和S7-1200PLC水箱液位高度PID控制联合仿真(KEPserverOPC通信应用)

SMART PLC 向导PID的详细介绍请查看下面文章链接:S7-200 SMART PLC PID向导详细介绍(如何实现P、PD、PID控制器)-CSDN博客文章浏览阅读1k次。这篇博客主要介绍SMART PLC PID向导的使用,PID控制相关的其它内容请查看专栏系列文章,常用链接如下:SMART PLC PID负压控制(过程量为负数)_负压控制pid控制程序_RXXW_Dor的博客-CSDN博客1、如何实现PID反作用调节?S7-1200PLC和KEPserver OPC通信-CSDN博客。

RXXW_Dor的博客 1783

论文阅读笔记:《Fully Convolutional Networks for Semantic Segmentation》

论文阅读笔记:《Fully Convolutional Networks for Semantic Segmentation》 论文下载地址:https://arxiv.org/abs/1411.4038 转载请注明:https://mp.csdn.net/console/editor/html/108851024 一、论文简介 FCN将传统卷积网络后面的全连接层换成了卷积层,这样网络的输出不再是类别而是heatmap。同时为了解决因为卷积和池化对图像尺寸的影响,提出使用上采样的方式恢复。具体包括以

weixin_42143615的博客 639

宽压 DC⇌DC 也能“随心所欲”——全桥 LLC 混合控制硬核拆解

硬件派 vs. 软件派:多电平是“器件堆砌”,混合控制是“算法魔改”。预算紧 → 先搞软件。仿真别嫌烦:PLECS 把两条曲线扫透,切换点、死区、φ 都调到波形平滑再上板。温升留 20 ℃ 余量:车规≥125 ℃,实验室测 105 ℃ 就算危险,别玩极限。

weixin_43199439的博客 931

论文阅读——全卷积FCN,Fully Convolutional Networks for Semantic Segmentation

Fully Convolutional Networks for Semantic Segmentation这篇论文的主要内容是如何利用FCN网络进行语义分割。 语义分割(Semantic Segmentation)是图像像素级的分类,即对图像中每一个像素点进行分类。 FCN(Fully Convolutional Network)网络是作者定义的一种新颖的网络结构,它去除了全连接层,只留下卷积层。相较于全连接层固定的输入以及空间信息的丢失,卷积层能够接受任意尺寸图像的输入,保留空间信息,并且可以通过上采样

无风而起的博客 364

Unity 工具 之 ZXing QRCode 二维码的生成和识别(可设置生成不同颜色的/带图标的二维码)

Unity 基础 之 ZXing QRCode 二维码的生成和识别(可设置生成不同颜色的/带图标的二维码) 目录 Unity 基础 之 ZXing QRCode 二维码的生成和识别(可设置生成不同颜色的/带图标的二维码) 一、简单介绍 二、实现原理 三、注意实现 四、效果预览 五、ZXing.net ( zxing.unity.dll ) 插件下载 六、实现步骤 七、关键代码 一、简单介绍 Unity 开发中,自己整理的一些游戏开发可能用到的功能,整理归档,方便游...

仙魁XAN 9827

软考 系统架构设计师历年真题集萃(248)

软考 系统架构设计师历年真题集萃(248)

phmatthaus的专栏 794

语义分割之《Fully Convolutional Networks for Semantic Segmentation》论文阅读

文章目录一、FCN简介二、FCN结构1、全卷积网络2、上采样3、SKIP三、实验结果1、训练2、代码结构3、实验结果1)、相同网络不同结构的对比1)、不同网络结构的对比四、FCNs的缺陷   FCN原文链接:Fully Convolutional Networks for Semantic Segmentation   FCN代码链接:FCN github   参考 一、FCN简介   FCNs替...

梦的灰色边沿... 533

kaggle学习笔记-餐厅数据挖掘

分析Zomato数据集的基本思想是为了公平地了解影响在班加罗尔不同地方建立不同类型餐厅的因素,每个餐厅的总评级,班加罗尔是这样一个城市,拥有超过12,000家餐厅,餐厅供应来自世界各地的菜肴。每天都有新的餐馆开业,这个行业还没有饱和,需求也在与日俱增。然而,尽管需求不断增加,新餐馆却很难与老牌餐馆竞争。大多数餐厅都供应同样的食物。班加罗尔是印度的IT之都。这里的大多数人主要依靠餐馆的食物,因为他们没有时间自己做饭。由于对餐馆的需求如此巨大,因此研究一个地方的人口统计学就变得很重要。

CSDNXXCQ的博客 1862

论文阅读:FCN:Fully Convolutional Networks for Semantic Segmentation

文章目录1、论文总述 2、语义分割中也有的一种紧张 3、全连接层与卷积层之间互相转化4、FCN extensions5、Image-to-image learning(two regimes for batch size)6、不同层的特征融合参考文献 1、论文总述 这是一篇进行图像语义分割的paper,在这篇论文之前,前面的语义分割的方法好像效果都不好,这个方法一出,影响很大,网络效率高,效...

j879159541的博客 1420

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

上一篇: 【OpenCV基础】第二十八课:轮廓周围绘制矩形框和圆形框
下一篇: 【C++基础】第三十七课:函数重载
x-jeff
博客等级 码龄11年 3523粉丝 385原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值