【论文学习】《Fully-Convolutional Siamese Networks for Object Tracking》2016年SiamFC 全卷积孪生网络用于目标跟踪

Fully-Convolutional Siamese Networks for Object Tracking 摘要 任意目标追踪通常通过从训练视频中在线学习出一个目标的外观模型来解决。DNN能有效提升模型的丰富度,但却需要在线SGD调整网络参数,限制了速度。 本文提出一种基于全卷积孪生网络的基本追踪算法模型,能够已超实时的帧率达到目前最高的精度。 关键字:object-tracking, Siamese-network, similiarity-learing, deep-learning 阅读详情
AI摘要

提出SiamFC全卷积孪生网络,实现目标跟踪实时性与精度的平衡。利用孪生网络的相关性解决样本与搜索图匹配精度问题,并通过全卷积结构大幅减少计算量。

《Full Convolutional Siamese Networks for Object Tracking》简称“SiamFC”,目标跟踪孪生网络出自2016年,Siam成为之后在目标跟踪任务的一个类别。2018年商汤在VOT比赛中使用SiamRPN获得了第一。

论文地址:ECCV2016版 、arXiv版

相关代码:https://github.com/bertinetto/siamese-fc

概要:

论文出自2016年,在此之前,还没有实时的基于孪生网络的目标跟踪方法,存在的孪生实例搜索跟踪器(SINT)方法使用了复杂计算的候选框定位目标。SiamFC的创新则与2015年出现的FCN类似,直接对图像进行全卷积让网络输出分值MAP,得到目标所在区域。然而,不同之处是孪生网络中,是对输入样例和搜图图进行卷积操作后,以输入样例的特征图作为卷积核,再对搜索图像的特征图进行卷积,最后得到目标位置分值图。注意的是,目标的检测是在多尺度下进行的,得到的目标也只有个中心位置,不知道边界,因此存在1、计算量稍大(比这之前方法的速度是大大提升的)2、边界框不准确,的可观问题。从而后续有SiamFPN的改进。

【一、翻译部分】

作者信息
作者信息

 摘要:任意物体追踪问题传统上是通过在线学习物体外观模型来解决的,使用视频本身作为唯一的训练数据。尽管这些方法取得了成功,但它们的在线方式本质上限制了它们可以学习的模型的丰富性。最近,人们尝试过多次利用深度卷积网络的表达能力。然而,当事先不知道要跟踪的对象时,就需要在线执行随机梯度下降来调整网络的权重,这严重影响了系统的速度。在本文中,我们为基本跟踪算法配备了一种新颖的全卷积孪生网络,该网络在 ILSVRC15 数据集上进行端到端训练,用于视频中的对象检测。我们的追踪器以超越实时的帧速率运行,尽管极其简单,但在多个基准测试中实现了最先进的性能。

关键词:目标跟踪;孪生网络;相似性学习;深度学习

1 引言

我们考虑到在视频中跟踪任意对象的问题中,对象仅在第一帧画面的矩形框中被标识。由于算法可能被要求跟踪任意物体,因此不可能事先收集了数据(矩形框中的对象数据)并训练了特定的检测器。

多年来,这种场景最成功的范例是使用从视频本身中提取的示例(参照样本),以在线方式学习物体外观的模型。这在很大程度上归功于TLD,Struck和KCF等方法的能力。然而,仅使用来自当前视频的数据的明显缺陷是只能学习相对简单的模型。尽管计算机视觉中的其他问题已越来越广泛地采用由大型监督数据集训练的深度卷积网络 (简称“conv-nets”),但监督数据的稀缺性和实时操作的限制阻碍了深度学习在这种为每个视频学习一个检测器的范式中的简单应用。

最近有几项研究旨在使用针对不同但相关的任务学习的预训练深度卷积网络来克服这一限制。这些方法要么应用“浅层”方法(例如相关滤波器),使用网络的内部表示作为特征,要么执行 SGD(随机梯度下降)来微调网络的多个层。虽然使用浅层方法没有充分利用端到端学习的优势,但在跟踪过程中应用 SGD 来实现了最佳结果的方法,但却无法实时运行。

我们提倡一种替代方法,即在初始离线阶段训练深度卷积网络来解决更一般的相似性学习问题,然后在跟踪期间简单地在线评估该函数。本文的主要贡献是证明这种方法在现代跟踪基准中以远远超过帧速率要求的速度实现了非常有竞争力的性能。具体来说,我们训练了一个 孪生网络来在更大的搜索图像中定位示例图像。另一个贡献是一种新颖的孪生架构,它对于搜索图像是完全卷积的:使用双线性层计算其两个输入的互相关来实现密集而高效的滑动窗口评估。

我们认为相似性学习方法相对被忽视了,因为跟踪社区没有大量带标签的数据集。事实上,直到最近,可用的数据集才只包含几百个带注释的视频。然而,我们认为,用于视频中物体检测的 ILSVRC 数据集 (下称 ImageNet Video)的出现使得训练这样的模型成为可能。此外,使用来自同一领域的视频来训练和测试用于跟踪的深度模型的公平性是一个争议点,因为 VOT 委员会最近禁止这样做。我们表明,我们的模型从 ImageNet Video 领域推广到 ALOV/OTB/VOT领域,使得跟踪基准的视频可以保留用于测试目的。

2 深度相似性学习用于跟踪

可以使用相似性学习来学习跟踪任意对象。我们建议学习一个函数 f (z, x),该函数将样本图像 z 与相同大小的候选图像 x 进行比较,如果两幅图像描绘的是同一对象,则返回高分,否则返回低分。为了在新图像中找到对象的位置,我们可以穷举所有可能的位置,并选择与对象过去外观最相似的候选位置。在实验中,我们将简单地使用对象的初始外观作为样本。函数 f 将从带有标记对象轨迹的视频数据集中学习。

鉴于其在计算机视觉领域的广泛成功,我们将使用深度卷积网络作为函数 f。深度卷积网络的相似性学习通常使用孪生架构来解决。孪生网络对两个输入应用相同的变换 φ,然后根据 f (z, x)=g(φ(z),φ(x)) 使用另一个函数 g 组合它们的表示。当函数 g 是简单的距离或相似性度量时,函数 φ 可以被视为嵌入。深度孪生卷积网络以前曾应用于人脸验证、关键点描述符学习和一次性字符识别等任务。

2.1 全卷积孪生网络结构

相似性计算示意图
图1 全卷积孪生架构。我们的架构对于搜索图像 x 是全卷积的(此处 x尺寸是大于 z的,一次全卷积将所有穷举或滑动窗口的结果都计算了)。输出是一个标量值分数图,其维度取决于搜索图像的大小。这使得可以在一次评估中为搜索图像内的所有平移子窗口计算相似度函数。在此示例中,分数图中的红色和蓝色像素包含相应子窗口的相似度。最佳彩色视图(在线彩色图)
论文笔记(二) fully-convolutional siamese networks for object tracking 基于多尺度全卷积孪生网络的目标跟踪算法 一.背景技术介绍       传统的跟踪算法大多从物体的外观出发,只能在线学习,从当前的视频中在线抓取数据进行学习跟踪的算法,如:TLD、Struck、KCF,这类算法必须足够简单才行,否则耗时严重。当然现在也有人使用卷积网络进行离线训练,在线跟踪,但是当跟踪目标未知时,需要利用随机梯度下降法(SGD)在线微调网络权重,从而使得速度下降,做不到实时跟踪。 阅读详情

相关推荐

SiamFC全文翻译:Fully-Convolutional Siamese Networks for Object Tracking

摘要 传统上,通过使用视频本身作为唯一的训练数据,专门在线上学习对象外观模型,可以解决任意对象跟踪的问题。 尽管这些方法取得了成功,但仅在线方法固有地限制了他们可以学习的模型的丰富性。 近来,已经进行了一些尝试来利用深度卷积网络的表达能力。 但是,如果事先不知道要跟踪的对象,则必须在线执行随机梯度下降以适应网络的权重,从而严重损害系统的速度。 在本文中,我们为基本跟踪算法配备了在ILSVRC15数据集上进行端到端训练的新型全卷积孪生网络,用于视频中的目标检测。 我们的跟踪器以超出实时的帧速率运行,尽管极其简

qq_40310050的博客 2594

用TensorFlow复现siamFC孪生网络:目标跟踪从原理到工程实现

目标跟踪是计算机视觉的核心任务之一,孪生网络(Siamese Network)因其结构简洁、推理高效而被广泛用于单目标跟踪。siamFC(全卷积孪生网络)通过权重共享的卷积网络提取模板与搜索区域特征,再以互相关操作生成响应图,无需在线更新分类器即可完成目标定位,是理解更复杂跟踪算法的理想起点。在TensorFlow中复现siamFC,不仅需要掌握全卷积结构和互相关层的实现细节,还要处理数据对构造、损失函数平衡、尺度搜索与模板更新等工程问题。本文从目标跟踪与特征匹配的基础原理出发,结合TensorFlow代码

weixin_34232744的博客 175

金证股份软件测试笔试题面试题

boss上这家公司的HR找到了我,我看了一下这家公司的业务,是我以前做过的基金与证券。还是很感兴趣的,决定去面试看看情况。 (因为只是想去涨面试经验,没有想拿offer,一些回答有点不太对,为后面木有offer埋下伏笔。其实有点亏,毕竟走路过去,而且还花了3个小时) 地点在金证股份科技大楼8楼。 2月25号 主要分为笔试题和面试。 1、笔试题 进来的时候直接给我一份笔试题做,做了一个半小时吧。 分为3道选择题和1道SQL查询题、1道案例设计题 选择题都是考察SQL函数,可能日常生活中没有见过

全村的希望的博客 4453

ArcGIS基于DEM提取微流域单元(附练习数据下载)

流域作为一个相对独立的地理单元,与行政区的划分有着本质上的区别。流域的划分更注重自然因素,流域作为一个综合的自然整体,在其内部形成了一个天然的物质与能量流动的场所,并通过水流的作用,与周围的区域进行物质和能量的交换。流域的精确划分作为一个研究的基础工作,那么接下来给大家说一下利用DEM提取小流域的案例教程——以贵州省遵义市正安县为例。 1 数据获取 地理空间数据云(http://www.gscloud.cn/),数据分辨率为30m。也可直接点击这篇直接下载→全国30m90mDEM下载。 若想要获得更高精度.

qq_43173805的博客 4838

STM32 SYSTICK定时器及延时函数详解

STM32 SYSTICK及延时函数详解 SysTick定时器 SysTick定时器被捆绑在NVIC中,用于产生SYSTICK异常(异常号:15)。在以前,大多操作系统需要一个硬件定时器来产生操作系统需要的滴答中断,作为整个系统的时基。例如,为多个任务许以不同数目的时间片,确保没有一个任务能霸占系统;或者把每个定时器周期的某个时间范围赐予特定的任务等,还有操作系统提供的各种定时功能,都与这个滴答定时器有关。因此,需要一个定时器来产生周期性的中断,而且最好还让用户程序不能随意访问它的寄存器,以维持操作系统“心

w1050321758的博客 2369

Pattern Recognition 投稿过程记录,含Elsevier Latex模板使用

Pattern Recognition 投稿过程记录,含Elsevier Latex模板使用 最近在Pattern Recognition投出了一个文章,纯纯属于是第一次投稿,感觉自己写了一坨屎,事实是这确实也是一坨屎,现在是投了之后在等待一个拒稿的状态。 但是还是记录一下一些流程 1. 下载模板 在出版商Elsevier的栏目里有对于稿件的结构要求,也提供了Latex模板。同时,也给作者提供了Guides, 可以仔细阅读。下面这个连接咱们可以下载到Guides以及看到一些文章的要求。 https://ww

weixin_44153180的博客 3万+

NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver. 最全解决方案!详细!

真的折磨了我整整一天,从网上的资料到GPT都翻遍了,终于是解决了!以下方案希望能帮助到你们。

weixin_44124632的博客 1万+

使用GitLab限制开发者使用CI/CD的权限,三种方案

使用三种方案来限制开发人员的CI/CD权限。

知无涯 5099

学Simulink--基础储能管理场景实例:基于Simulink的储能SOC均衡控制策略仿真

本文完成了基于 Simulink 的储能 SOC 均衡控制策略仿真,实现了:✅掌握并联系统 SOC 分化机理✅构建基于电流重分配的主动均衡架构✅验证均衡对系统可用容量的显著提升✅实现 SOC 偏差 < 2% 的高精度控制。

amy_mhd的博客 86

《从底层结构开始学习FPGA》目录与传送门

《从底层结构开始学习FPGA》目录与传送门

孤独的单刀 16万+

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

下一篇: 【论文学习】《High Performance Visual Tracking with SiameseRegionProposalNetwork》18年SiamRPN高性能视觉跟踪的孪生区域候选网络
豹击长空
博客等级 码龄2年 60粉丝 6原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值