目录
摘要
GLEE是一个用于定位和识别图像和视频中对象的对象级基础模型。通过统一的框架,GLEE实现了在开放世界场景中对各种对象感知任务的检测、分割、跟踪、定位和识别。采用一种连贯的学习策略,GLEE从具有不同监督级别的多样化数据源中获取知识,以形成通用的对象表示,在零样本转移到新数据和任务上表现出色。GLEE使用了图像编码器、文本编码器和视觉提示器来处理多模态输入,使得能够同时解决各种以对象为中心的下游任务,同时保持最先进的性能。
Abstract
GLEE is an object-level foundation model for locating and identifying objects in images and videos. Through a unified framework, GLEE achieves detection, segmentation, tracking, grounding, and identification of various object perception tasks in open-world scenarios. Employing a cohesive learning strategy, GLEE acquires knowledge from diverse data sources with varying levels of supervision to formulate general object representations, excelling in zero-shot transfer to new data and tasks. GLEE utilizes an image encoder, text encoder, and visual prompter to handle multi-modal inputs, enabling the simultaneous resolution of various object-centric downstream tasks while maintaining state-of-the-art performance.
GLEE
展示:GLEE-Vision
GLEE在各方面都取得了很好的效果,如下图所示:

作者提出GLEE目的是开发一个通用对象基础模型,该模型可直接解决下游任务,而无需微调。即GLEE可用于无缝统一图像和视频中的各种对象感知任务,包括:目标检测、目标跟踪,以及各种分割任务。
实现方法
原理
GLEE由图像编码器、文本编码器、视觉提示器和对象解码器组成,如下图所示:

- 文本编码器(Text Encoder)处理与任务相关的任意描述,包括对象类别、名称、关于对象的说明文字等;
- 视觉提示器(Visual Prompter)将用户输入,如在交互式分割过程中的点、边界框或涂鸦,编码为目标对象的相应视觉表示。然后它们被整合到一个检测器中,根据文本和视觉输入从图像中提取对象。
- 作者在Mask DINO的基础上构建对象解码器(Object Decoder),并采用动态类别头,通过计算检测器中的对象嵌入和文本编码器中的文本嵌入之间的相似性。
对象解码器主要是将提取的特征转换为图像中对象的具体预测,如:类别、位置等。
例如给定输入图像 I=3xHxW ,首先使用ResNet等主干网络提取多尺度特征Z。然后将多尺度特征Z输入到对象解码器中,并在解码器的输出嵌入,分别为上图右侧的三个预测头分类、检测和分割。
与其他对象分割模型一样,作者构建了一个1/4分辨率的像素嵌入图,该图是通过上采样、融合主干网络和Transformer编码器的多尺度特征图获得的。最后,作者通过N个掩码嵌入和像素嵌入图之间的点积获得每个二进制掩码预测
:
FFN是一个具有ReLU激活函数和线性投影层的三层前馈头和线性投影层。
为了支持任意词汇表和对象描述,作者用DetCLIP文本嵌入替换了FFN分类器。即作者将K个类别名称作为单独的句子输入到文本编码器中,并使用每个句子的标记平均值作为每个类别或描述的输出文本嵌入
。然后再计算对象嵌入和文本嵌入之间的对齐分数:
,
如何实现任务统一
基于上述设计,GLEE可以无缝地统一图像和视频中广泛的对象感知任务。
我们主要来看看目标检测和实例分割。对于目标检测任务,给定一个固定长度的类别列表,即需要检测类别列表中的所有对象。对于具有类别列表长度K的数据集,文本输入可以表述为,其中
代表第k个类别名称,例如:COCO数据集,P = [“person”, “bicycle”, “car”, ... ,“toothbrush”]。对于实例分割,作者启用掩码分支,并添加掩码匹配成本和掩码损失。
在实际操作中,我们可以通过文本表述限制目标检测或实例分割的对象。
消融实验
进行实验以研究训练数据规模对各种任务零样本性能的影响。GLEE-Pro使用10%、20%、50%、100%的训练数据,评估包括TAO、BURST、OVIS和YTVIS在内的零样本转移任务上的性能,结果如下图所示:

数据规模扩展实验揭示了训练数据集的增加大小会导致在多样化的下游任务中零镜头能力的提升。这一结果意味着更大的预训练数据集是一项有价值的投资,为广泛的下游任务提供了更有效、更适应的基础。
零镜头能力的目标是在测试时让学习者观察训练期间未观察到的类中的样本,并需要预测它们所属的类 。其核心思想是利用类别的语义描述(如:文本描述、属性等)来建立训练集和测试集之间的联系,使得模型能够有效地对未见过的类别进行分类 。
效果
- 目标检测


- 实例分割

总结
本周学习的GLEE是一个对象级基础模型,直接适用于广泛的对象级图像和视频任务。GLEE在众多对象级任务上取得了很好的性能,并在新数据和任务的零样本转移上表现十分出色,展现了其非凡的多功能性和泛化能力。
如有错误,请各位大佬指出,谢谢!
531



被折叠的 条评论
为什么被折叠?



