通用检测大模型 | GLEE:开放世界检测&分割开放的一切!

开放世界目标检测:检测区分出未知物体 开放世界目标检测旨在识别未见过类别的目标,并在提供注释后逐步识别这些目标。与传统的只限于预定义类别的范式不同,这种设置承诺通过使用与类别无关的信息来持续且通用地估计目标性。然而,实现目标性和类别信息之间的这种去相关化证明是具有挑战性的。在没有明确考虑的情况下,现有方法通常对未知目标的召回率较低,并且可能将它们误分类为已知类别。为了解决这个问题,我们在检测过程中利用了三个层次的正交性:首先,通过在设计的极坐标系统中使用彼此正交的特征集,将目标性和分类头分离。 阅读详情
AI摘要

GLEE是一个跨领域的对象级基础模型,通过统一框架处理开放世界场景中的物体检测、分割、跟踪等任务。它利用内聚学习从多源数据获取知识,展现出强大的零次迁移能力和多任务性能。GLEE在多个基准上表现出色,预示着通用视觉基础模型在AGI系统中的重要性。

作者 | AIWalker  编辑 | 极市平台

点击下方卡片,关注“自动驾驶之心”公众号

ADAS巨卷干货,即可获取

点击进入→自动驾驶之心【大模型】技术交流群

本文只做学术分享,如有侵权,联系删文

导读

 

通过一个统一的框架,GLEE可以在开放世界场景中完成任意物体的检测、分割、跟踪、接地和识别,以完成各种物体感知任务。

15ca83a488bc74f2bc96bc832f67c212.png

论文链接:https://arxiv.org/abs/2312.09158

代码链接:https://glee-vision.github.io

在这项工作中,我们提出了GLEE:一个对象级的基础模型,用于定位和识别图像和视频中的对象。

  • 通过一个统一的框架,GLEE可以在开放世界场景中完成任意物体的检测、分割、跟踪、接地和识别,以完成各种物体感知任务。

  • 采用内聚学习策略,GLEE从不同监督级别的不同数据源中获取知识,以形成通用对象表示,擅长零次迁移到新数据和任务。

具体来说,我们采用图像编码器,文本编码器和视觉解码器来处理多模态输入,从而能够同时解决各种以对象为中心的下游任务,同时保持最先进的性能。通过对来自不同基准的500多万张图像进行广泛的训练,GLEE表现出显着的多功能性和改进的泛化性能,有效地处理下游任务,而不需要特定于任务的适应。通过集成大量的自动标注数据,我们进一步增强了其Zero-shot概化能力。此外,GLEE能够被集成到大型语言模型中,作为基础模型为多模态任务提供通用的对象级信息。我们希望,我们的方法的可靠性和普遍性将标志着一个重要的一步,有效的视觉基础模型的AGI系统的发展。模型和代码将在/上发布。

bba0679ce9a21f9e9977e2224aa2041a.png

本文亮点

  1. 我们提出了GLEE:一个通用的以对象为中心的基础模型的图像和视频, GLEE能够同时处理各种以对象为中心的任务,同时保持最先进的性能。

  2. 我们开发了一个多粒度的联合监督框架和一个可扩展的训练范例。GLEE的统一方法支持多源数据,并能够对来自不同监督级别的各种基准的500多万张图像进行联合训练。这大大方便了额外的手动或自动注释数据的合并,并简化了数据集的缩放。

  3. GLEE在对象级图像和视频任务的范围内展示了卓越的通用性和强大的zero-shot可传输性。此外,GLEE可以提供现代LLM目前缺乏的可视化对象级信息,从而作为增强其他架构或模型的基础组件。

本文方案

如图所示,所提GLEE包括一个图像编码器,一个文本编码器,一个视觉解码器,和一个对象解码器。文本编码器处理与任务相关的任意描述,包括对象类别、任何形式的名称、关于对象的标题和引用表达式。视觉识别器在交互式分割期间将诸如点、边界框或涂鸦的用户输入编码成目标对象的对应视觉表示。然后,它们被集成到一个检测器中,用于根据文本和视觉输入从图像中提取对象。

04517af6e18cb7daad1f3fe375aa2a9f.png

本文实验

8d4ee954f000d0c5c90513a2e29ee524.png

如上表所示:我们的模型在COCO和LVIS基准上都优于所有通才模型。即使与其他最先进的spec-cialist方法相比,我们的模型仍然具有很强的竞争力。这表明,GLEE同时掌握普遍和一般的对象表示,同时保持先进的能力,这种特性对于适应需要精确目标定位的广泛下游任务至关重要。对于REC和RES任务,我们在Ref-COCO [120],RefCOCO+ [120]和RefCOCOg [72]上评估了我们的模型,如表1所示,GLEE实现了与SOTA专业方法PolyFormer [62]相当的结果,展示了强大的理解文本描述的能力,并展示了适应更广泛的多模态下游任务的潜力。

在开放世界实例分割任务中,我们将“对象”视为类别名称,指示模型以类不可知的方式识别图像中所有可能的实例。GLEE比之前的ODISE [107]高出8.9分,证明了识别开放世界场景中可能存在的所有合理实例的能力。GLEE模型作为对象级视觉基础模型的通用性和有效性,直接适用于各种以对象为中心的任务,同时确保最先进的性能,而不需要微调。

zero-shot

f08ba8f7dc5b4e3ee3ededa262ea29f9.png

如上表所示:GLEE超过先前最佳方法OVTrack 36.0%,在BURST中几乎是最佳基线性能的三倍,在LV-VIS中超过OV 2Seg43.6%。这种出色的性能有力地验证了GLEE在处理一系列基准测试和任务的对象级任务时的卓越泛化和zero-shot能力

Ablation

b59228378ea2c4f19e01e08893aafe9d.png
  • 数据规模 使用10%、20%、50%、100%的训练数据训练GLEE-Pro,以评估zero-shot转移任务的性能,包括TAO、BURST、OVIS和YTVIS。增加训练数据集的大小可增强不同下游任务的零触发性能。

  • 用作基础模型 我们用一个冻结的、预训练的GLEE-Plus代替丽莎视觉中枢,并将来自GLEE的对象查询馈送到LLAVA中,并去除LISA的解码器。我们直接将输出的SEG令牌与GLEE特征映射进行点积来生成掩码。经过同样数量的训练,改进后的LISA-GLEE获得了与原始版本相当的结果,证明了GLEE表示的多功能性及其在服务于其他模型中的有效性。

效果展示

7f386ae22cc7e21055b726e9f3b660cd.png

对于图像级交互式分割,GLEE支持将点、框或涂鸦作为视觉提示发送到模型,从而实现指定对象的直接分割。在视频对象分割的情况下,使用来自第一帧的掩蔽特征作为提示引用特征允许在视频的后续帧中分割对应的对象。

小结

我们介绍了一个先进的对象级基础模型GLEE,旨在直接适用于广泛的对象级图像和视频任务。GLEE采用统一的学习范式,从不同监督级别的不同数据源中学习;GLEE在许多对象级任务上实现了最先进的性能,并在zero-shot泛化到新数据和任务方面表现出色,显示出其卓越的通用性和泛化能力。此外,GLEE提供了一般的视觉对象级信息,这是目前在现代LLM中缺失的,为以对象为中心的mLLM奠定了坚实的基础。

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频(扫码即可学习)

e4b3d4e196e7ec71a44785d935bc4158.png 视频官网:www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区,涉及30+自动驾驶技术栈学习路线,想要了解更多自动驾驶感知(2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计)、自动驾驶定位建图(SLAM、高精地图、局部在线地图)、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布,欢迎扫描下方二维码,加入自动驾驶之心知识星球,这是一个真正有干货的地方,与领域大佬交流入门、学习、工作、跳槽上的各类难题,日常分享论文+代码+视频,期待交流!

0487fe16dd38e790720c9cec969746b3.png

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区,聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群,备注:学校/公司+方向+昵称(快速入群方式)

2329be80ce9d6d1214ac8627dffdf0bc.jpeg

④【自动驾驶之心】平台矩阵,欢迎联系我们!

4ada320709c21c905a8eda7e8fa727ba.jpeg

开集检测(open set detection) 由于Zero-shot learning和Few-shot learning两个领域是2015年左右提出的,因此发展速度还比较快,也有一些比较成熟的模型了,但Open set recognition是2020年之后才提出来的,虽然有一些算法已经开始出现,终究还是处于起步阶段,所以我期望看到开集识别有更成熟的方案被提出,我也会持续关注。然而开集识别要实现的是训练集和测试集的类别可以有一样,也可以有不一样的,但模型最终能在不提供任何辅助信息的情况下区分出已知类别,同时也能分辨出未知类别并作相应处理。 阅读详情

相关推荐

OW-DETR | 基于 Transformer 的开放世界目标检测器

大家好,我是极智视界,本文解读一下 基于 Transformer 的开放世界目标检测器 OW-DETR。

极智视界 3919

工业异常检测大模型来了!哈工大提出Myriad:利用视觉专家进行工业异常检测的大型多模态模型

点击下方卡片,关注“CVer”公众号AI/CV重磅干货,第一时间送达点击进入—>【异常检测和缺陷检测】微信交流群在CVer微信公众号后台回复:Myriad,可以下载本论文pdf,学起来!一句话总结通过应用视觉专家进行工业异常检测,以实现明确的异常检测和高质量的异常描述,还可进行多轮对话,性能表现出色!优于AnomalyGPT等网络,代码即将开源!MyriadMyriad: Large Mul...

阿木寺的博客 1万+

[XJTUSE DATABASE]——第三章 关系数据库标准语言SQL

新年了,来个大的,写了好几天,将近9000字,希望对大家有所帮助

weixin_47692652的博客 3123

通用检测大模型 | 华科白翔团队提出以对象为中心的基础模型GLEE

本文首发:AIWalker后台回复【】即可下载原文与译文。。具体来说,。通过对来自不同基准的500多万张图像进行广泛的训练,GLEE表现出显着的多功能性和改进的泛化性能,有效地处理下游任务,而不需要特定于任务的适应。通过集成大量的自动标注数据,我们进一步增强了其零炮概化能力。此外,。我们希望,我们的方法的可靠性和普遍性将标志着一个重要的一步,有效的视觉基础模型的AGI系统的发展。模型和代码将在/上发布。

聚焦底层视觉处理,对相关基础AI技术持续学习 1214

【C++PTA】6-1 Point类的运算 (10 分)

定义Point类,有坐标x,y两个私有成员变量;对Point类重载“+”(相加)、“-”(相减)和“==”(相等)运算符,实现对坐标的改变,要求用友元函数和成员函数两种方法实现。对Point类重载<<运算符,以使得代码 Point p; cout<<p<<endl;可以输出该点对象的坐标。 函数接口定义: 实现Point类。 裁判测试程序样例: /* 请在这里填写答案 */ int main(int argc, char const *argv[]) { P

libertye的博客 2369

RV1126上YOLOv8部署实战:从模型转换到板端推理的完整避坑指南

本文提供了在瑞芯微RV1126芯片上部署YOLOv8目标识别算法的完整实战指南。内容涵盖从模型转换、环境搭建到板端推理代码编写的全流程,重点解析了RKNN-Toolkit使用、量化配置、内存优化及后处理实现等关键环节的常见问题与解决方案,旨在帮助开发者高效避坑,实现边缘AI应用的稳定落地。

pz89012345的博客 569

GLEE:一个模型搞定目标检测/实例分割/定位/跟踪/交互式分割等任务!性能SOTA!

GLEE,这是一个面向目标级别的基础模型,用于定位和识别图像和视频中的目标。通过一个统一的框架,GLEE实现了对开放世界场景中任意目标的检测、分割、跟踪、定位和识别,适用于各种目标感知任务。采用了一种协同学习策略,GLEE从具有不同监督级别的多源数据中获取知识,形成通用的目标表示,在zero-shot迁移到新数据和任务方面表现出色。具体而言,采用图像编码器、文本编码器和视觉提示器来处理多模态输入,使其能够同时解决各种以目标为中心的下游任务,同时保持最先进的性能。

AIGCer的博客 2879

【FPGA】高效捕捉信号边沿的硬件实现技巧

本文深入探讨了FPGA设计中高效捕捉信号边沿的硬件实现技巧。核心在于通过“打两拍”同步器处理亚稳态风险,并详细解析了上升沿、下降沿及双边沿检测的基础原理与Verilog实现。文章进一步介绍了脉冲展宽、数字滤波等高级优化方案,并结合UART起始位检测与按键消抖等实战场景,提供了可靠的代码范例与调试心得,帮助工程师构建稳定可靠的边沿检测模块。

weixin_29165465的博客 229

通用对象定位与识别大模型GLEE:原理部署训练全流程解析与实战指南

通用对象定位与识别大模型GLEE:原理部署训练全流程解析与实战指南

分享实践与思考 1776

Zabbix-01简单导入MIB文件并测试

这里写自定义目录标题安装 MIB文件启用MIB文件测试MIB文件 MIB文件 MIB代表管理信息库。 MIB文件允许您使用OID(对象标识符)的文本表示。 ##例如: ifHCOutOctets 是OID【1.3.6.1.2.1.31.1.1.1.10】的文本表示 安装 MIB文件 在基于Debian的系统上: # apt install snmp-mibs-downloader # download-mibs 在基于RedHat的系统上: # yum install net-snmp-libs 启用M

lokibaba的博客 9180

12、有杆泵抽油系统:原理、性能与选择

本文全面介绍了有杆泵抽油系统的原理、性能分析和设备选择方法。有杆泵抽油系统广泛应用于石油开采领域,通过地面抽油装置与井下柱塞泵的配合,实现高效、稳定的原油提升。文章详细解析了系统的工作原理、组成结构、光杆运动特性、载荷计算、泵输送能力及功率需求,并提供了抽油装置的选择流程和实际案例分析。此外,还探讨了泵的容积效率影响因素、示功图的作用及系统优化运行的建议,为石油开采工程提供了理论支持和实践指导。

gan8painter的博客 435

CVPR2024论文盘点(10篇):包括多模态大模型,目标检测,图像分割

通过这种方法,在PASCAL VOC 2012和MS COCO 2014两个标准数据集上的实验不仅验证了CPAL的有效性,还展示了它在提升模型性能方面的显著优势,推动了该领域的进步至新的高度。随着深度学习的快速发展,模型可用训练数据规模呈指数级上升,大规模语言模型和多模态模型的通用理解能力得到了巨大的提高,出现了一批能解决多种任务的统一模型。在推理阶段,通过将先前帧中预测的物体掩码作为它们的视觉提示,UniVS 将不同的视频分割任务转化为以提示为导向的目标分割,消除了启发式的帧间匹配过程。

SmartLab307的博客 3万+

SpringBoot实战教程-springboot概论

Spring Boot 是一个快速开发框架,能够快速的整合第三方框架,简化XML配置,全部采用注解形式,以及自动配置。内置web容器,帮助开发者能够实现快速开发,简化了应用系统的初始搭建以及开发过程。

鸟哥哥的专栏 4162

GLEE多模态融合技术:如何实现图像与文本的协同物体理解 [特殊字符]

GLEE(General Object Foundation Model for Images and Videos at Scale)是CVPR2024收录的通用物体基础模型,它创新性地融合图像与文本模态,实现了对任意物体的精准检测、分割与跟踪。无论是已知类别的标准物体还是未定义的开放世界物体,GLEE都能通过文本描述与视觉信息的深度协同,提供超越传统模型的理解能力。 ## 核心架构:文本与图

gitblog_00687的博客 336

13、深入理解 Microsoft 365 的安全与合规概念

本文深入探讨了 Microsoft 365 的安全与合规概念,涵盖文档存储、文件共享、审计、保留、eDiscovery、分类和保护以及网络等多个关键方面。通过合理配置这些功能,组织可以更好地管理和保护其数据资源,满足法规要求,并提升工作效率。文章还提供了最佳实践建议及流程图,帮助读者全面理解 Microsoft 365 的安全架构和管理策略。

k8s6orchestrator的博客 213

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

CVPR 2024 | GLEE 华科与字节跳动联手打造全能目标感知基础模型

关注公众号,发现CV技术之美近年来,LLM在文本处理的领先地位和视觉模型如CLIP在多模态任务上优秀的泛化表现,展示了基础模型在推进多模态感知、理解、生成方面的强大潜力。基础模型通过大规模预训练获得了强大泛化性,不断推动着整个领域的进步。我们能否构建一个针对目标感知领域的基础模型,突破训练规模限制,促进所有感知任务呢?在这一命题上,最近的一项研究 GLEE 取得了进展。GLEE是是华中科技大学白翔...

我爱计算机视觉 1841

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

GLEE模型评估指标详解:mAP、IoU与FPS计算方法

GLEE(General Object Foundation Model for Images and Videos at Scale)是CVPR2024提出的通用目标基础模型,支持图像和视频的多种任务。本文将详细解析GLEE模型的核心评估指标——mAP(平均精度均值)、IoU(交并比)和FPS(每秒帧率),帮助开发者和研究者全面了解模型性能评估方法。 ## 📊 什么是模型评估指标? 在计算

gitblog_07707的博客 1090

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

GLEE与其他基础模型对比:SAM、DETR、Mask2Former优劣分析

在计算机视觉领域,**基础模型**正成为推动技术发展的核心驱动力。GLEE作为CVPR2024的亮点论文,是一个通用物体基础模型,在图像和视频的大规模处理中展现出卓越性能。本文将深入分析GLEE与当前主流基础模型SAM、DETR、Mask2Former的优劣对比,帮助开发者选择最适合的方案。🤔 ## 🎯 模型架构与设计理念对比 ### GLEE:统一的多任务基础模型 GLEE采用统一的架构

gitblog_00347的博客 1139

华科&字节提出目标感知基础模型GLEE,一统所有目标感知任务

点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院公众号ID|计算机视觉研究院学习群|扫码在主页获取加入方式论文标题:GLEE: General Object Foundation Model for Images and Videos at Scale论文地址:https://arxiv.org/abs/2312.09158代码地址:https://github.com/FoundationV...

gzq0723的博客 419

CVPR 2024 | 一统所有目标感知任务,华科&字节提出目标感知基础模型GLEE

点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院公众号ID|计算机视觉研究院学习群|扫码在主页获取加入方式论文标题:GLEE: General Object Foundation Model for Images and Videos at Scale论文地址:https://arxiv.org/abs/2312.09158代码地址:https://github.com/FoundationV...

gzq0723的博客 496

开放词汇/通用检测汇总-理解识别万物还有多远

对于开放词汇或者是通用检测任务,顾名思义,在场景当中存在一些新物体,这些物体模型训练过程中没有出现过,整个任务的核心是面向现实世界的问题解决,本文总结了前沿的方法如Glee、YoloWorld等,并做了汇总

LDC1314? 2214

GLEE少样本学习实战:用100张图片训练特定物体检测器

GLEE(General Object Foundation Model for Images and Videos at Scale)是CVPR2024收录的通用物体基础模型,支持图像和视频的多模态任务处理。本文将详细介绍如何利用GLEE实现少样本学习,仅需100张图片即可训练出高精度的特定物体检测器,帮助开发者快速构建定制化视觉识别系统。 ## 为什么选择GLEE进行少样本学习? GLEE

gitblog_01164的博客 550

GLEE~

通过对来自不同基准的500多万张图像进行广泛的训练,GLEE表现出显着的多功能性和改进的泛化性能,有效地处理下游任务,而不需要特定于任务的适应。我们用一个冻结的、预训练的GLEE-Plus代替丽莎视觉中枢,并将来自GLEE的对象查询馈送到LLAVA中,并去除LISA的解码器。在视频对象分割的情况下,使用来自第一帧的掩蔽特征作为提示引用特征允许在视频的后续帧中分割对应的对象。我们希望,我们的方法的可靠性和普遍性将标志着一个重要的一步,有效的视觉基础模型的AGI系统的发展。,显示出其卓越的通用性和泛化能力。

whaosoft143ai的博客 1055

GLEE: General Object Foundation Model for Images and Videos at Scale 论文详细解读

GLEE提出了一个统一的目标检测基础模型,通过多任务学习在单一架构中处理多种相关任务。架构创新: 基于Transformer的统一多任务架构训练策略: 有效的多任务联合训练方法性能提升: 在多个基准数据集上取得了优异的性能这项工作为构建通用的视觉理解模型提供了重要的参考,展示了多任务学习在计算机视觉领域的巨大潜力。

qq_75211380的博客 544

自动化图像标注是否可靠?人人可尝试的方案

本文总结了较好的多模态分割模型,对比开源工具以及前沿论文,提出了一种适合自动化标注图像的策略。

LDC1314? 1642
上一篇: 计算机视觉从业者顶流学习笔记,值得收藏的公众号!
下一篇: PillarNeSt:如何进一步提升基于Pillar的3D目标检测性能?
自动驾驶之心
博客等级 码龄4年 6592粉丝 724原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值