General Object Foundation Model for Images and Videos at Scale

【202503】Wan:开放且先进的大规模视频生成模型【1.3B、14B】【支持对无限长度视频进行稳定的Inference】【Wan中的主要计算开销来自注意力机制】 wan: Open and Advanced Large-Scale Video Generative ModelsWan:开放且先进的大规模视频生成模型Wan Team, Alibaba Group Wan 团队,Alibaba GroupThis report presents Wan, a comprehensive and open suite of video foundation models designed to push the boundaries of video generation 阅读详情

目录

摘要

Abstract

GLEE

实现方法

原理

如何实现任务统一

消融实验

效果

总结


摘要

GLEE是一个用于定位和识别图像和视频中对象的对象级基础模型。通过统一的框架,GLEE实现了在开放世界场景中对各种对象感知任务的检测、分割、跟踪、定位和识别。采用一种连贯的学习策略,GLEE从具有不同监督级别的多样化数据源中获取知识,以形成通用的对象表示,在零样本转移到新数据和任务上表现出色。GLEE使用了图像编码器、文本编码器和视觉提示器来处理多模态输入,使得能够同时解决各种以对象为中心的下游任务,同时保持最先进的性能。

Abstract

GLEE is an object-level foundation model for locating and identifying objects in images and videos. Through a unified framework, GLEE achieves detection, segmentation, tracking, grounding, and identification of various object perception tasks in open-world scenarios. Employing a cohesive learning strategy, GLEE acquires knowledge from diverse data sources with varying levels of supervision to formulate general object representations, excelling in zero-shot transfer to new data and tasks. GLEE utilizes an image encoder, text encoder, and visual prompter to handle multi-modal inputs, enabling the simultaneous resolution of various object-centric downstream tasks while maintaining state-of-the-art performance.

GLEE

论文地址:arxiv.org/pdf/2312.09158

展示:GLEE-Vision

GLEE在各方面都取得了很好的效果,如下图所示:

作者提出GLEE目的是开发一个通用对象基础模型,该模型可直接解决下游任务,而无需微调。即GLEE可用于无缝统一图像和视频中的各种对象感知任务,包括:目标检测、目标跟踪,以及各种分割任务。

实现方法

原理

GLEE由图像编码器、文本编码器、视觉提示器和对象解码器组成,如下图所示:

  • 文本编码器(Text Encoder)处理与任务相关的任意描述,包括对象类别、名称、关于对象的说明文字等;
  • 视觉提示器(Visual Prompter)将用户输入,如在交互式分割过程中的点、边界框或涂鸦,编码为目标对象的相应视觉表示。然后它们被整合到一个检测器中,根据文本和视觉输入从图像中提取对象。
  • 作者在Mask DINO的基础上构建对象解码器(Object Decoder),并采用动态类别头,通过计算检测器中的对象嵌入和文本编码器中的文本嵌入之间的相似性。

对象解码器主要是将提取的特征转换为图像中对象的具体预测,如:类别、位置等。 

例如给定输入图像 I=3xHxW ,首先使用ResNet等主干网络提取多尺度特征Z。然后将多尺度特征Z输入到对象解码器中,并在解码器的输出嵌入q_{d}\in R^{N\times C},分别为上图右侧的三个预测头分类、检测和分割。

与其他对象分割模型一样,作者构建了一个1/4分辨率的像素嵌入图M_{p}\in R^{C\times \frac{H}{4}\times \frac{W}{4}},该图是通过上采样、融合主干网络和Transformer编码器的多尺度特征图获得的。最后,作者通过N个掩码嵌入和像素嵌入图之间的点积获得每个二进制掩码预测m\in R^{N \times \frac{H}{4}\times \frac{W}{4}}:

m=FFN(q_{d})\bigotimes M_{p}

FFN是一个具有ReLU激活函数和线性投影层的三层前馈头和线性投影层。

为了支持任意词汇表和对象描述,作者用DetCLIP文本嵌入替换了FFN分类器。即作者将K个类别名称作为单独的句子输入到文本编码器Enc_{L}中,并使用每个句子的标记平均值作为每个类别或描述的输出文本嵌入e_{t}\in R^{K\times D}。然后再计算对象嵌入和文本嵌入之间的对齐分数:

S_{align}=q_{d}\cdot W_{i2t\bigotimes e_{t}},S_{align}\in R^{N\times K}

如何实现任务统一

基于上述设计,GLEE可以无缝地统一图像和视频中广泛的对象感知任务。

我们主要来看看目标检测和实例分割。对于目标检测任务,给定一个固定长度的类别列表,即需要检测类别列表中的所有对象。对于具有类别列表长度K的数据集,文本输入可以表述为\left \{p_{k} \right \}_{k=1}^{K},其中p_{k}代表第k个类别名称,例如:COCO数据集,P = [“person”, “bicycle”, “car”, ... ,“toothbrush”]。对于实例分割,作者启用掩码分支,并添加掩码匹配成本和掩码损失。

在实际操作中,我们可以通过文本表述限制目标检测或实例分割的对象。

消融实验

进行实验以研究训练数据规模对各种任务零样本性能的影响。GLEE-Pro使用10%、20%、50%、100%的训练数据,评估包括TAO、BURST、OVIS和YTVIS在内的零样本转移任务上的性能,结果如下图所示:

数据规模扩展实验揭示了训练数据集的增加大小会导致在多样化的下游任务中零镜头能力的提升。这一结果意味着更大的预训练数据集是一项有价值的投资,为广泛的下游任务提供了更有效、更适应的基础。

零镜头能力的目标是在测试时让学习者观察训练期间未观察到的类中的样本,并需要预测它们所属的类 。其核心思想是利用类别的语义描述(如:文本描述、属性等)来建立训练集和测试集之间的联系,使得模型能够有效地对未见过的类别进行分类 。 

效果

  • 目标检测

  • 实例分割 

总结

本周学习的GLEE是一个对象级基础模型,直接适用于广泛的对象级图像和视频任务。GLEE在众多对象级任务上取得了很好的性能,并在新数据和任务的零样本转移上表现十分出色,展现了其非凡的多功能性和泛化能力。

如有错误,请各位大佬指出,谢谢!

VLA-2025-03:GR00T N1【骨架:Eagle-2;端到端双系统VLA:S2 VLM+S1 DiT+FM;数据:单/双臂+人形,机器人+人类+仿真+神经共592.9M帧/8375.7小时】 通用机器人需要多功能的躯体和智能的头脑。近年来,人形机器人的发展在构建人类世界中通用自主性的硬件平台方面展现出巨大潜力。一个基于海量多样化数据源训练的机器人基础模型,对于使机器人能够推理新情况、稳健应对现实世界的多变性以及快速学习新任务至关重要。为此,我们推出了GR00T N1,一个面向人形机器人的开放基础模型。GR00T N1是一个具有双系统架构的视觉‑语言‑动作(VLA)模型。视觉语言模块(系统2)通过视觉和语言指令来解读环境。随后的扩散Transformer模块(系统1)实时生成流畅的电机动作。 阅读详情

相关推荐

【202511】Cosmos-Predict2.5-01-数据篇:用于PhysicalAI的基于视频基础模型的世界模拟【2亿原始视频(3500万小时)➞60亿片段➞4%➞2亿高质量片段(140万H)】

3.5×我们推出 [Cosmos-Predict2.5],这是 Cosmos 物理人工智能世界基础模型的最新一代产品。基于流式架构构建的 [Cosmos-Predict2.5] 将 Text2World、Image2World 和 Video2World 生成功能整合于单一模型之中,并借助物理人工智能视觉语言模型 [Cosmos-Reason1],提供更丰富的文本锚定能力以及对世界模拟的更精细控制。

u013250861的博客 531

GLEE:一个模型搞定目标检测/实例分割/定位/跟踪/交互式分割等任务!性能SOTA!

GLEE,这是一个面向目标级别的基础模型,用于定位和识别图像和视频中的目标。通过一个统一的框架,GLEE实现了对开放世界场景中任意目标的检测、分割、跟踪、定位和识别,适用于各种目标感知任务。采用了一种协同学习策略,GLEE从具有不同监督级别的多源数据中获取知识,形成通用的目标表示,在zero-shot迁移到新数据和任务方面表现出色。具体而言,采用图像编码器、文本编码器和视觉提示器来处理多模态输入,使其能够同时解决各种以目标为中心的下游任务,同时保持最先进的性能。

AIGCer的博客 2879

WAM-202601:LingBot-VA(用于机器人控制的因果世界建模)【自回归扩散框架:利用双流MoT架构将视频与动作统一到单个交错序列中(先预测视频再逆动力解动作)】【基于Wan2.2-5B】

Causal World Modeling for Robot Control用于机器人控制的因果世界建模摘要This work highlights that video world modeling, alongside vision-language pre-training, establishes a fresh and independent foundation for robot learning. Intuitively, video world models provide the ab

u013250861的博客 525

CVPR 2024 | 一统所有目标感知任务,华科&字节提出目标感知基础模型GLEE

点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院公众号ID|计算机视觉研究院学习群|扫码在主页获取加入方式论文标题:GLEE: General Object Foundation Model for Images and Videos at Scale论文地址:https://arxiv.org/abs/2312.09158代码地址:https://github.com/FoundationV...

gzq0723的博客 496

视觉特征-自监督-掩码特征预测【2026-03】:V-JEPA2.1【2B】【全Token稠密预测损失】【多层深度自监督】【图像/视频多模态Tokenizer】【160万小时视频】【1.42亿张图像】

Lorenzo Mur-Labadia1,2,∗, Matthew Muckley1, Amir Bar1, Mido Assran1, Koustuv Sinha1, Mike Rabbat1, Yann LeCun1, Nicolas Ballas1,†, Adrien Bardes1,†1FAIR at Meta, 2Universidad de Zaragoza ∗Work done at Meta, †Joint last authorWe present V-JEPA 2.1, a family

u013250861的博客 356

视觉特征-自监督-掩码特征预测【2025-06】:V-JEPA-2【100万小时互联网视频,每样本:4秒×4➜16帧】【Stage1:表征学习⮕Stage2:V-JEPA2-AC(自回归下一帧预测)】

图14 展示了在实验室1中,使用杯子进行抓取操作任务的起始和目标框架示例。对于抓取和带物体到达任务,模型仅看到一个目标图像。对于拾取-放置任务,除了最终目标外,我们还向模型展示两个子目标图像。第一个目标图像显示物体被抓取,第二个目标图像显示物体在目标位置附近。模型首先针对第一个子目标优化动作4个时间步,然后自动切换到第二个子目标进行接下来的10个时间步,最后针对第三个目标进行最后4个时间步。

u013250861的博客 100

CVPR2024论文盘点(10篇):包括多模态大模型,目标检测,图像分割

通过这种方法,在PASCAL VOC 2012和MS COCO 2014两个标准数据集上的实验不仅验证了CPAL的有效性,还展示了它在提升模型性能方面的显著优势,推动了该领域的进步至新的高度。随着深度学习的快速发展,模型可用训练数据规模呈指数级上升,大规模语言模型和多模态模型的通用理解能力得到了巨大的提高,出现了一批能解决多种任务的统一模型。在推理阶段,通过将先前帧中预测的物体掩码作为它们的视觉提示,UniVS 将不同的视频分割任务转化为以提示为导向的目标分割,消除了启发式的帧间匹配过程。

SmartLab307的博客 3万+

视觉特征-自监督-同源不同crop视图一致性【2023-04】:DINOv2(无监督学习鲁棒视觉特征)【12 亿张互不重复的图像】【判别式自监督方法】【交叉熵损失+iBOT损失】

近期,自然语言处理领域在大量数据上进行模型 Pretraining 取得的突破,为计算机视觉中类似Foundation Model 的发展开辟了道路。这些模型能够生成通用视觉特征,即无需微调即可跨图像分布和任务发挥作用的特征,从而大幅简化图像在任何系统中的使用。本研究表明,现有的 Pretraining 方法,尤其是自监督方法,如果在来自多样化来源的充足精选数据上进行训练,便能够产生此类特征。我们重新审视了现有方法,并结合不同技术,从数据规模和模型规模两方面扩展我们的 Pretraining。

u013250861的博客 387

离职谷歌的Transformer作者创业,连发3个模型(附技术报告)

点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院公众号ID|计算机视觉研究院学习群|扫码在主页获取加入方式论文标题:GLEE: General Object Foundation Model for Images and Videos at Scale论文地址:https://arxiv.org/abs/2312.09158代码地址:https://github.com/FoundationV...

gzq0723的博客 305

视觉特征-自监督-掩码特征预测【2024-11】:D-JEPA·T2I(通过下一词元预测实现高分辨率图像合成)【相对于D-JEPA的优化:文本条件、流匹配损失、VoPE】

近年来,自回归模型在类别条件图像生成方面展现了卓越的性能。然而,将下一词元预测应用于高分辨率文本到图像生成仍未得到充分探索。在本文中,我们提出了基于连续词元的自回归模型D-JEPA·T2I,该模型在架构和训练策略上均进行了创新,能够在高达4K的任意分辨率下生成高质量、照片级真实感的图像。在架构方面,我们采用去噪联合嵌入预测架构(D-JEPA),同时利用多模态视觉Transformer有效融合文本和视觉特征。此外,我们引入流匹配损失以及所提出的视觉旋转位置编码(VoPE),以实现连续分辨率学习。

u013250861的博客 182

π0.7:a Steerable Generalist Robotic Foundation Model with Emergent Capabilities

Figure 1: Fig. 1: We introduce π0.7\pi _ { 0 . 7 }π0.7​ , a steerable generalist robot foundation model that can perform dexterous tasks across many tasks, environments, and robots. π0.7\pi _ { 0 . 7 }π0.7​ is trained with diverse prompts that contain not

u013250861的博客 84

CVPR 2024 | GLEE 华科与字节跳动联手打造全能目标感知基础模型

关注公众号,发现CV技术之美近年来,LLM在文本处理的领先地位和视觉模型如CLIP在多模态任务上优秀的泛化表现,展示了基础模型在推进多模态感知、理解、生成方面的强大潜力。基础模型通过大规模预训练获得了强大泛化性,不断推动着整个领域的进步。我们能否构建一个针对目标感知领域的基础模型,突破训练规模限制,促进所有感知任务呢?在这一命题上,最近的一项研究 GLEE 取得了进展。GLEE是是华中科技大学白翔...

我爱计算机视觉 1841

CV-骨架02:Swin Transformer V2: Scaling Up Capacity and Resolution【2021-11】

Ze Liu* Han Hu*† Yutong Lin Zhuliang Yao Zhenda Xie Yixuan Wei Jia Ning Yue Cao Zheng Zhang Li Dong Furu Wei Baining Guo Microsoft Research Asia{v-zeliu1,hanhu,t-yutonglin,t-zhuyao,t-zhxie,t-yixuanwei,v-jianing}@microsoft.com {yuecao,zhez,lidong1,fuwei,bai

u013250861的博客 84

GLEE: General Object Foundation Model for Images and Videos at Scale 论文详细解读

GLEE提出了一个统一的目标检测基础模型,通过多任务学习在单一架构中处理多种相关任务。架构创新: 基于Transformer的统一多任务架构训练策略: 有效的多任务联合训练方法性能提升: 在多个基准数据集上取得了优异的性能这项工作为构建通用的视觉理解模型提供了重要的参考,展示了多任务学习在计算机视觉领域的巨大潜力。

qq_75211380的博客 544

Cesium生态盘点:超图、火星3D等15个二次开发框架对比

本文深入解析Cesium生态中的15个二次开发框架,包括超图、火星3D等主流选择,帮助开发者根据项目需求进行精准选型。从性能表现、功能完备性、开发友好度等维度进行对比,特别适合需要处理地理空间数据和构建三维可视化的JavaScript开发者。

weixin_28197941的博客 500

skywalking各项指标说明

skywalking各项指标说明

没有简介 2488

视频理解多任务-General Object Foundation Model for Images and Videos at Scale

1.​​目标检测(Object Detection)​​ 和 ​​图像分割(Image Segmentation)​​ 有什么区别?目标检测是检测这个物体,用一个框子框起来 分割的话会更精细 把这个物体轮廓也会显现出来 分割的话可以分为背景和前景、实例分割(区别不同物体,比如人A和人B)、语义分割(区别不同类别 比如人和箱子)2.什么是 ​​边界框(Bounding Box)​​ 和 ​​掩码(Mask)​​?它们在标注数据时分别表示什么?边界框就是检测出这个物体之后 给它框起来的小块。

m0_62653520的博客 974

磁编码器选型避坑指南:为什么MT6816比霍尔传感器更适合你的伺服系统?

本文深入对比了MT6816磁编码器与传统霍尔传感器在伺服系统中的应用。MT6816基于AMR技术,对磁场方向敏感而非强度,具备高精度、强抗干扰、高安装容差和极低延时等优势,尤其适合高转速、恶劣环境下的工业场景,能有效提升系统可靠性与长期稳定性。

rainy的博客 1105

π0:面向通用机器人控制的视觉-语言-动作流模型

Physical IntelligenceKevin Black, Noah Brown, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Liyiming Ke, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj

u013250861的博客 60

C# + NAudio:构建支持实时音频处理的语音聊天应用(含回声消除)

本文介绍了如何利用C#和NAudio库开发实时语音聊天应用,重点实现回声消除功能。首先概述了NAudio库在音频处理中的作用,包括音频录制、播放和实时处理能力。然后详细讲解了构建基础语音聊天应用的过程,包括麦克风录制和扬声器播放的实现。接着深入探讨了回声消除的原理和实现方法,提出通过比较麦克风输入和扬声器输出的音频信号来消除回声,并给出了核心代码示例。最后,文章还讨论了性能优化方向,如多线程处理和网络传输扩展。该方案为开发高质量实时语音应用提供了实用参考。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1014

Spark Sql 连接mysql

转载请务必注明原创地址为:http://dongkelun.com/2018/03/21/sparkMysql/ 1、基本概念和用法(摘自spark官方文档中文版) Spark SQL 还有一个能够使用 JDBC 从其他数据库读取数据的数据源。当使用 JDBC 访问其它数据库时,应该首选 JdbcRDD。这是因为结果是以数据框(DataFrame)返回的,且这样 Spark SQL操作轻松或便......

主要分享大数据相关的知识,如Spark、Hudi 1万+

世界-语言-动作模型:统一世界建模、语言推理与动作合成

Yi Yang 1,2,†, Zhihong Liu 1,†, Siqi Kou 1,†, Yiyang Chen ¹, Yanzhe Hu³, Jianbo Zhou ⁴, Boyuan Zhao 5, Zhijie Wei 6, Xiao Xia 1, Xueqi Li 2,7, Pengfei Liu 1,2, Zhijie Deng 1,1SJTU, 2SII, HUST, 4SCUT, 5ECUST, 6SHU, 7NJUPT †Equal Contribution, †Corresponding

u013250861的博客 76

Allegro 中复制一部分PCB到另一个PCB中去

引言:自从学了allegro后,我每天快乐地再拉线,一开心肯定出事情。不料今天一高兴,把本来在5层的铜皮直接在4层画起来了。不过,幸好我知道换层,才省了又要画铜皮的时间。好了,开干,如果要将其他层的铜皮换到想要换到的层上,就需要这个命令。

tianpu2320959696的博客 977

Evo‑1:保持语义对齐的轻量级视觉‑语言‑动作模型

视觉-语言-动作 (VLA) 模型已成为一个强大的框架它统一了感知、语言和控制,使机器人能够通过多模态理解执行多样化的任务。然而,当前的VLA模型通常包含海量参数,并严重依赖大规模机器人数据预训练,导致训练过程中的高计算成本,以及实时推理的部署能力受限。此外,大多数训练范式往往会降低视觉-语言主干网络的感知表征,导致过拟合和对下游任务的泛化能力差。在这项工作中,我们提出了Evo-1,一个轻量级VLA模型,它在不进行机器人数据预训练的情况下,降低了计算量并提高了部署效率,同时保持了强大的性能。

u013250861的博客 182

深入详解DICOM医学影像定位线相关知识:理解定位线的概念、定位线的作用以及定位线显示和计算原理

深入详解DICOM医学影像定位线相关知识:理解定位线的概念、定位线的作用以及定位线显示和计算原理

编程技术探索者,分享C/C++、C#、Java、数据库等开发经验,聚焦实战技巧与AI兴趣,助力编程爱好者成长。 2053

基于Django+Vue3的智能目标检测系统设计与实现,Vue3前台系统+Django后台管理系统开发,Web前后端分离,YOLOv8 Web目标检测,实现图片、视频和摄像头检测等功能,全网独发

目标检测是计算机视觉中的重要任务,广泛应用于安防监控、自动驾驶、智能家居等领域。YOLO系列模型由于其高效的检测速度和较高的准确率,成为目标检测任务的首选算法之一。本项目结合 YOLOv8 与 Django + Vue3,构建一个Vue3前台系统+Django后台管理系统开发,便于用户进行目标检测的操作和展示,实现对图片、视频实时目标检测,不仅可以用于大论文的工作量展示,还可以作为毕业设计。支持更换自己模型、图片检测、实时视频检测、置信度调节和IoU参数调节。同时支持目标检测、实例分割、关键点检测等任务

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 5437
上一篇: Instance Diffusion
下一篇: YOLO-World:Real-Time Open-Vocabulary Object Detection
KeepThinking!
博客等级 码龄6年 575粉丝 52原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值