开放世界目标检测:检测区分出未知物体

开放词汇目标检测(Open-Vocabulary Object Detection, OVOD)综述 综上,大多数工作均基于CLIP预训练的图像编码器和文本编码器。GlIP为解决目标检测任务提供了先例,后续很多工作常与目前较为广泛使用的目标检测网络结构相结合,从而构建新的开放词汇目标检测器。如ViLD基于Mask R-CNN、RegionCLIP基于R-CNN、VLDet和BARON基于Faster R-CNN。更具有创新性的工作是Detic,提出了使用图像分类的数据集来对目标检测器的分类头进行训练。 阅读详情
AI摘要

本文介绍了一种新型开放世界目标检测方法,旨在解决未知目标的检测与识别问题。通过特征与预测的正交化,以及跨任务校准层的设计,显著提高了对未知目标的召回率,并减轻了灾难性遗忘。

开放世界目标检测:检测区分出未知物体

01 Abstract

开放世界目标检测旨在识别未见过类别的目标,并在提供注释后逐步识别这些目标。与传统的只限于预定义类别的范式不同,这种设置承诺通过使用与类别无关的信息来持续且通用地估计目标性。然而,实现目标性和类别信息之间的这种去相关化证明是具有挑战性的。在没有明确考虑的情况下,现有方法通常对未知目标的召回率较低,并且可能将它们误分类为已知类别。为了解决这个问题,我们在检测过程中利用了三个层次的正交性:首先,通过在设计的极坐标系统中使用彼此正交的特征集,将目标性和分类头分离。其次,引入了一种预测去相关损失,引导检测器进行更通用且与类别无关的预测。此外,我们提出了一种校准方案,帮助在整个训练过程中保持正交性,以减轻灾难性干扰并促进对以前未见过的目标的增量学习。我们的方法在开放世界和增量目标检测基准上进行了全面评估,证明了其在检测已知和未知目标方面的有效性。

代码地址:

https://github.com/feifeiobama/OrthogonalDet

02 Introduction

目标检测是计算机视觉中的一项基础任务,传统上遵循封闭世界的范式。尽管在这种方法上取得了显著进展,但它受限于假设所有要检测的目标类别在训练期间都是预定义且已知的。这本质上阻碍了检测器识别未知目标以及在不断变化的世界中学习新发现的目标。为了应对这些限制,提出了一种新的设置,称为开放世界目标检测,它通过自主发现未知目标并在获得标注后逐步识别它们,从而以更具适应性的方式处理目标检测,使得检测器能够在开放世界中持续运作。
然而,接受这种新的开放世界设置带来了几个关键挑战,这是由于问题的开放集和增量特性所致。核心在于,模型应能够推广以检测未知目标,并正确地将它们分配到一个特殊的未知类别。它还需要自适应地融入新的目标知识,而不会干扰已知类别。
我们通过解释以往方法的缺陷,揭示了它们在目标性和类别预测之间的依赖关系。基本原理有两个:首先,因为现有模型通常通过从已知类别中转移类别特定信息来检测未知目标,因此一些在先前分布中不太突出的通用目标性线索(如形状)可能会被忽视。这会影响未知目标的召回率,特别是那些在视觉上与已知类别不相似的目标。其次,依赖类别相关信息进行目标性预测导致在它们的特征空间中产生相关的决策边界,如图1a所示。因此,检测到的未见过目标往往会与已知目标相似,因此更有可能与它们混淆,这也在增量学习阶段引入了额外的干扰。后续章节还包含了更多关于这种新考虑的相关性的证据。
为了缓解上述目标性和类别信息之间的干扰,我们受正交化解耦文献的启发,提出在检测器的特征空间和预测空间中强制正交化。具体而言,在特征空间中,我们采用了极坐标系统,将每个目标特征分解为两个正交分量,即幅度和方向,如图1b所示。这两个分量分别用于目标性和类别预测,其中幅度对应于目标性,因为较大的幅度表示更显著的目标,而不同的方向则编码了关于已知和未知类别的信息。在这里,通过一种启发式策略,通过预测置信度低的分布外提议来区分未知类别。此外,为了增强目标性和类别信息之间的正交性,我们在预测空间中引入了一种去相关损失,用以惩罚目标性和类别预测之间的统计相关性。这两种设计共同促进了更与类别无关的检测结果,结果显示这显著提高了模型在已知和未知目标上的性能,从而在开放世界目标检测中实现了更好的目标发现。我们还注意到,在新增目标的增量学习过程中,所提出的正交化方案的效果可能会被削弱,因为在类别分布发生剧烈变化时,特征正交性不再成立。为了解决这个问题,我们开发了一种跨任务校准层,用于对齐不同任务的特征空间以进行联合正交化。具体而言,校准层在目标性和类别预测头之前进行交错排列,并学习一组任务特定的仿射变换,对因任务变化导致的潜在表示偏移进行修正。在推理过程中,我们使用一种路由算法来估计每个目标提议的任务,并相应地执行校准变换。这使得模型能够在不断变化的目标分布下持续保持正交性,从而生成更通用和与类别无关的预测。

图片

Towards Open Set Deep Networks:开放世界的目标检测 但是在现实世界中,大多数检测任务都是开放的,在动态和不断变化的现实世界中部署识别系统时,绝大多数的识别系统是为静态封闭世界设计的,其中主要的假设是所有类别都是已知的。主要的问题出在了softmax层上,在大多数网络中,最后一层全连接层的输出被输入到softmax层中,从而在N个已知类别中产生一个概率分布,这就造成了在给定一个未知类作为输入时,网络总会找到一个最有可能的已知类。同时,将元学习的概念加入深度网络中,使用网络倒数第二层(Softmax层前面的全连接层)的分数来评估当前的输入是否远离已知类别。 阅读详情

相关推荐

OW-DETR | 基于 Transformer 的开放世界目标检测器

大家好,我是极智视界,本文解读一下 基于 Transformer 的开放世界目标检测器 OW-DETR。

极智视界 3919

【深度解析】AURIX TC387 UCB Flash架构与避坑指南(第一篇)

摘要:UCB(用户配置块)是AURIX TC3xx芯片启动与安全的关键配置区域,位于DFLASH0存储区。每个512字节的UCB包含启动模式、安全设置等关键参数,并通过强制CRC32校验确保完整性。UCB分为启动头(UCB_BMHD)、安全配置(UCB_ORIG)及其备份(UCB_COPY)三种主要类型。不同于常规Flash,UCB具有自动擦除特性,错误配置可能导致芯片永久锁死。开发中应谨慎修改UCB,必须同时编程原始和备份版本,并确保正确的CRC校验。后续文章将详细介绍UCB编程方法和调试技巧。

2511_94612429的博客 1237

Adobe软件非正版弹窗终极解决方案:PS/Ai/PR/AE禁用提示一键清除指南

本文提供了Adobe软件非正版弹窗的终极解决方案,包括PS、Ai、PR、AE等软件的禁用提示一键清除指南。通过专业清理工具和手动修改系统文件的方法,帮助用户彻底解决Adobe弹窗问题,提升使用体验。适用于Windows和Mac系统用户,操作简单高效。

weixin_30872337的博客 5546

Python 逆向解析知乎盐选反爬字体,实现内容精准还原

本文详细解析了知乎盐选内容的反爬字体机制,并提供了使用Python逆向解析WOFF字体文件的完整方案。通过fontTools库构建解码字典,实现乱码文本的精准还原,帮助开发者应对动态字体策略,同时强调法律与道德风险。

weixin_29268385的博客 1304

平行趋势检验没通过怎么办?别慌,试试三重差分DDD与事件研究法

本文探讨了当平行趋势检验未通过时,如何运用三重差分法(DDD)与事件研究法进行政策评估。通过Stata代码示例和实战案例,详细介绍了DDD的原理、适用场景及实现步骤,并提供了替代方案如合成控制法和匹配DID,帮助研究者获得更准确的因果推断结果。

weixin_28732953的博客 620

PLC编程入门基础知识

PLC即为可编程逻辑控制器,实质是一种专用于工业控制的计算机,其硬件结构基本上与微型计算机相同。

SANRENYIXING的博客 2万+

BMS | 从一串到几百串硬件架构简介

锂电池在生活中越来越多的方面扮演能源的角色,除了大家熟知的电动汽车行业,在一些消费类,工业类电子产品比如手机,电动自行车,电动工具中都有应用,追本溯源今天我们一起来学习下最基础的BMS架构。 1~4串架构 以S8241为代表的无通信/无固件/模拟器件 可实现过充保护、过放保护、过流/短路,参数由器件后缀代码决定;通信类手持设备供电系统;1~4节电池保护板架构 如图使用S-8241系列保护IC,一对充放电MOS管控制充放电的回路的切断和接通,系统供电来自于电芯电压,VM引脚用于检测过...

ningvay的博客 9924

51单片机+DS18B20+数码管显示+超温提示+Proteus仿真

51单片机+DS18B20+数码管显示+超温提示+Proteus仿真 Proteus仿真 实例代码 #include <reg52.h> #define uchar unsigned char #define uint unsigned int sbit we1 = P3^0; sbit we2 = P3^1; sbit we3 = P3^2; sbit we4 = P3^3; sbit DS = P1^0; sbit D1 = P3^6; sbit D2 = P3^7; uch

perseverance51博客 1540

AMBA-CHI协议详解(三)

Write Transactions、Atomic transactions、 Stash transactions、 Dataless transactions的等各个事务的事务流。

Crazzy_M的博客 3183

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

上一篇: X射线蒸馏:解决遮挡与稀疏点云3D目标检测
下一篇: GSANet:使用无监督学习实现视频对象分割
自动驾驶实战(AIFighting)
博客等级 码龄11年 1245粉丝 118原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值