通用检测大模型 | 华科白翔团队提出以对象为中心的基础模型GLEE

语义分割新SOTA:80.5mIoU+62.8FPS! 华科与美团联合提出单分支推理分割架构SCTNet,已开源! 本文首发于最新的实时语义分割方法通常。然而,。为了消除这一困境,。SCTNet在保留轻量级单分支CNN高效性的同时,还拥有语义分支的丰富语义表示。考虑到transformer提取长距离上下文的卓越能力,SCTNet将transformer作为仅用于训练的语义分支。。在推理过程中,只需要部署单分支CNN。我们在Cityscapes,ADE20K和COCO-Stuff-10K上进行了广泛的实验,结果表明,我们的方法达到了新的最先进水平。 阅读详情

本文首发: AIWalker

https://arxiv.org/abs/2312.09158
https://glee-vision.github.io
AIWalker后台回复【GLEE】即可下载原文与译文。

在这项工作中,我们提出了GLEE:一个对象级的基础模型,用于定位和识别图像和视频中的对象。

  • 通过一个统一的框架,GLEE可以在开放世界场景中完成任意物体的检测、分割、跟踪、接地和识别,以完成各种物体感知任务。
  • 采用内聚学习策略,GLEE从不同监督级别的不同数据源中获取知识,以形成通用对象表示,擅长零次迁移到新数据和任务。

具体来说,我们采用图像编码器,文本编码器和视觉解码器来处理多模态输入,从而能够同时解决各种以对象为中心的下游任务,同时保持最先进的性能。 通过对来自不同基准的500多万张图像进行广泛的训练,GLEE表现出显着的多功能性和改进的泛化性能,有效地处理下游任务,而不需要特定于任务的适应。 通过集成大量的自动标注数据,我们进一步增强了其零炮概化能力。 此外,GLEE能够被集成到大型语言模型中,作为基础模型为多模态任务提供通用的对象级信息。 我们希望,我们的方法的可靠性和普遍性将标志着一个重要的一步,有效的视觉基础模型的AGI系统的发展。 模型和代码将在/上发布。

本文亮点

  1. 我们提出了GLEE:一个通用的以对象为中心的基础模型的图像和视频, GLEE能够同时处理各种以对象为中心的任务,同时保持最先进的性能。
  2. 我们开发了一个多粒度的联合监督框架和一个可扩展的训练范例。 GLEE的统一方法支持多源数据,并能够对来自不同监督级别的各种基准的500多万张图像进行联合训练。 这大大方便了额外的手动或自动注释数据的合并,并简化了数据集的缩放。
  3. GLEE在对象级图像和视频任务的范围内展示了卓越的通用性和强大的zero-shot可传输性。 此外,GLEE可以提供现代LLM目前缺乏的可视化对象级信息,从而作为增强其他架构或模型的基础组件。

本文方案

如图所示,所提GLEE包括一个图像编码器,一个文本编码器,一个视觉解码器,和一个对象解码器。 文本编码器处理与任务相关的任意描述,包括对象类别、任何形式的名称、关于对象的标题和引用表达式。 视觉识别器在交互式分割期间将诸如点、边界框或涂鸦的用户输入编码成目标对象的对应视觉表示。 然后,它们被集成到一个检测器中,用于根据文本和视觉输入从图像中提取对象。
[外链图片转存中…(img-rSDYttld-1708828086389)]

关于方案的详细介绍建议感兴趣的同学查看原文。AIWalker后台回复【GLEE】即可下载原文与译文,快快学习呀。

本文实验

如上表所示:我们的模型在COCO和LVIS基准上都优于所有通才模型。 即使与其他最先进的spec-cialist方法相比,我们的模型仍然具有很强的竞争力。 这表明,GLEE同时掌握普遍和一般的对象表示,同时保持先进的能力, 这种特性对于适应需要精确目标定位的广泛下游任务至关重要。 对于REC和RES任务,我们在Ref-COCO [120],RefCOCO+ [120]和RefCOCOg [72]上评估了我们的模型,如表1所示,GLEE实现了与SOTA专业方法PolyFormer [62]相当的结果,展示了强大的理解文本描述的能力,并展示了适应更广泛的多模态下游任务的潜力。 在开放世界实例分割任务中,我们将“对象”视为类别名称,指示模型以类不可知的方式识别图像中所有可能的实例。 GLEE比之前的ODISE [107]高出8.9分,证明了识别开放世界场景中可能存在的所有合理实例的能力。GLEE模型作为对象级视觉基础模型的通用性和有效性,直接适用于各种以对象为中心的任务,同时确保最先进的性能,而不需要微调。

zero-shot

如上表所示:GLEE超过先前最佳方法OVTrack 36.0%,在BURST中几乎是最佳基线性能的三倍,在LV-VIS中超过OV 2Seg43.6%。 这种出色的性能有力地验证了GLEE在处理一系列基准测试和任务的对象级任务时的卓越泛化和zero-shot能力

Ablation

  • 数据规模 使用10%、20%、50%、100%的训练数据训练GLEE-Pro,以评估zero-shot转移任务的性能,包括TAO、BURST、OVIS和YTVIS。 增加训练数据集的大小可增强不同下游任务的零触发性能。

  • 用作基础模型 我们用一个冻结的、预训练的GLEE-Plus代替丽莎视觉中枢,并将来自GLEE的对象查询馈送到LLAVA中,并去除LISA的解码器。 我们直接将输出的SEG令牌与GLEE特征映射进行点积来生成掩码。 经过同样数量的训练,改进后的LISA-GLEE获得了与原始版本相当的结果,证明了GLEE表示的多功能性及其在服务于其他模型中的有效性。

效果展示

对于图像级交互式分割,GLEE支持将点、框或涂鸦作为视觉提示发送到模型,从而实现指定对象的直接分割。在视频对象分割的情况下,使用来自第一帧的掩蔽特征作为提示引用特征允许在视频的后续帧中分割对应的对象。

小结

我们介绍了一个先进的对象级基础模型GLEE,旨在直接适用于广泛的对象级图像和视频任务。 GLEE采用统一的学习范式,从不同监督级别的不同数据源中学习; GLEE在许多对象级任务上实现了最先进的性能,并在zero-shot泛化到新数据和任务方面表现出色,显示出其卓越的通用性和泛化能力。 此外,GLEE提供了一般的视觉对象级信息,这是目前在现代LLM中缺失的,为以对象为中心的mLLM奠定了坚实的基础。

AIWalker后台回复【GLEE】即可下载原文与译文,快快学习呀。

什么是大模型 大模型(Big Model)是指在机器学习和人工智能领域中处理大规模数据和复杂模型的一种方法或技术。随着数据量的不断增加和模型的复杂度提高,传统的机器学习方法已经无法有效处理,因此大模型成为了解决这一挑战的重要工具之一。本文将介绍大模型的基本概念、应用场景以及一些常见的大模型技术。大模型是指在处理大规模数据和复杂模型时所采用的一种模型和算法。大模型通常需要处理海量的数据,这些数据可能来自于互联网、传感器、日志文件等各种来源。 阅读详情

相关推荐

C#上位机与VisionPro通用框架:视觉标定、通信联动与现场排坑实战

工业自动化设备的上位机开发,往往面临流程控制、视觉检测、通信交互等环节的重复搭建。C#作为主流工业语言,配合VisionPro视觉软件,可通过通用框架设计将状态机调度、相机采集、标定算法与串口/扫码枪通信等底层能力模块化,从而大幅降低项目交付成本。其核心原理在于:将设备工艺差异封装至配置层,视觉流程通过CogToolBlock工具链与VPP模板复用,九点标定建立像素与机械坐标系的映射关系。该方案已在螺丝锁付、点胶定位等多类产线落地,尤其适用于批量交付、换型频繁的视觉设备场景。这套从实践中沉淀的框架思路,以及

weixin_31102231的博客 343

通用检测大模型 | GLEE:开放世界检测&分割开放的一切!

作者|AIWalker 编辑| 极市平台点击下方卡片,关注“自动驾驶之心”公众号ADAS巨卷干货,即可获取点击进入→自动驾驶之心【大模型】技术交流群本文只做学术分享,如有侵权,联系删文导读通过一个统一的框架,GLEE可以在开放世界场景中完成任意物体的检测、分割、跟踪、接地和识别,以完成各种物体感知任务。论文链接:https://arxiv.org/abs/2312.09158代码链接:h...

CV_Autobot的博客 3323

Qt跨平台CAN通信实战:Vector、PCAN与周立功设备统一接口设计

本文针对Qt开发中常见的多品牌CAN设备兼容难题,提出了一套统一的跨平台CAN通信接口设计方案。通过抽象层封装,实现了对Vector、PCAN和周立功设备的统一操作,上层业务代码无需修改即可在不同硬件间切换,有效解决了驱动API差异、环境配置复杂和维护成本高等痛点,显著提升了代码复用率和开发效率。

weixin_29161785的博客 336

工业异常检测大模型来了!哈工大提出Myriad:利用视觉专家进行工业异常检测的大型多模态模型

点击下方卡片,关注“CVer”公众号AI/CV重磅干货,第一时间送达点击进入—>【异常检测和缺陷检测】微信交流群在CVer微信公众号后台回复:Myriad,可以下载本论文pdf,学起来!一句话总结通过应用视觉专家进行工业异常检测,以实现明确的异常检测和高质量的异常描述,还可进行多轮对话,性能表现出色!优于AnomalyGPT等网络,代码即将开源!MyriadMyriad: Large Mul...

阿木寺的博客 1万+

图学习——04.HAN(异构图注意力网络)

什么是异构图,什么是元路径,什么是HAN,怎么计算attention,节点级别的attention和语义级别的attention

m0_51474171的博客 3001

Arcmap计算土方量教程

1. 创建现状TIN 结果数据: 2. 创建设计TIN 结果数据: 注意:现状TIN和设计TIN构建时候的坐标系不同,设置坐标系见最后的注意事项第1点,就是import(导入)那步骤,现状TIN构建时选择高程点数据或者等高线数据,设计TIN构建时候选择洱海面数据 3. TIN转栅格 改成你要存的数据库,注意中间不要有汉字 结果数据(设计TIN转栅格的同理) 4. 裁剪现状TIN转成的栅格 结果数据: 5. 计算土方量 结果数据: ...

欢迎关注,共同进步! 5018

重磅!首个目标检测大模型(识别万物):DINO-X

IDEA 开发了一个通用物体提示来支持无提示的开放世界检测,从而无需用户提供任何提示即可检测图像中的任何内容。

sexy19910923的博客 5242

FakeNewsGPT4:通过知识增强的大规模视觉语言模型推进多模态假新闻检测

当前,多模态假新闻的大量涌现导致了显著的分布差异,这一现状亟需我们开发具备广泛适用性的检测器。然而,现有假新闻检测器因特定领域内的训练方式,难以有效获取开放世界中的事实信息。这种训练的封闭性限制了传统检测器的能力,特别是在面对跨域假新闻时,其表现往往不尽如人意。具体而言,开放世界中的假新闻在两个方面具有显著的分布差异:一方面,其操纵内容多种多样,新闻的任一部分都可能受到创意策略的操控;另一方面,真实背景复杂多变,不同地区的新闻背景和主题焦点存在显著差异。

qq_52053775的博客 825

目标检测分割大模型—零样本实现目标检测/图像分割/目标跟踪

Grounding DINO 1.5 在其前身 Grounding DINO 的基础上,通过结合更大的视觉 backbone 扩大模型尺寸,并使用超过2000万的 Grounding 数据获得了丰富的语料,大幅提升了检测精度和速度,且通过Pro和Edge版本分别针对不同应用场景进行了优化。相反,视觉提示提供了一种更直观、更直接的对象表示方法。如工业生产流水线器件检测,交通航运领域的船舶、飞机检测,农业领域的农作物、果蔬检测,生物医学领域的细胞、组织检测,物流领域的货物检测,环境领域的野生动物监测等。

weixin_43825188的博客 5007

〖Python接口自动化测试实战篇④〗- 接口自动化测试详解

[接口测试] 是相对来说和我们的功能测试 [最为接近的一种自动化测试手段] ,所以我们首先来学习接口测试的内容。 实现接口的开发与接口的测试,在我们的思维上、想法上、面向的态度上都是不一样的。所以大家要有一个思维上的转换,要认识了解一下 接口测试到底是做什么的、它的功能、意义在哪里。...

易编橙 · 终身成长社群,相遇已是上上签! 5万+

【异常】Codybuddy Error Code: 14003 too many requests 限流报错问题排查与解决指南

14003报错本质为服务端限流拦截,并非账号封禁或程序致命故障,90%以上的场景可通过等待冷却+规范使用行为解决。通过本文的排查步骤,可快速恢复工具使用,同时规避后续重复触发该问题。

奶爸的编程之路,也就一周冷个三天 1259

首个多模态查询目标检测大模型! | NeurIPS 2023

与之前的固定类别集(通常由有限数量表示)相比,前述的文本查询具有代表广泛概念的优点,但也存在固有的不足之处,即描述细粒度不足 [4, 9, 32]。经验上,解决描述细粒度不足问题的一个简单解决方案是设计额外的文本描述,但存在三个明显的障碍:1)全面描述视觉细节很难 [52],为大量类别构建文本描述是一项繁重的工作。在finetuning-free的设定下,MQ-Det对每个类别选用了5个视觉示例,同时结合类别文本进行目标检测,而现有的其他模型不支持视觉查询,只能用纯文本描述进行目标检测。

qq_36101623的博客 2631

使用 Simulink + Simscape Electrical 对 级联H桥多电平整流器并网功率分配 进行建模与仿真

摘要:本文详细介绍了基于Simulink对级联H桥(CHB)多电平整流器并网功率分配进行建模的方法。内容包括系统组成、功率分配意义、Simulink建模流程、PWM控制策略实现、功率分配算法设计以及仿真分析。重点阐述了主电路搭建、双环控制结构(外环功率分配+内环电流控制)和载波层叠PWM调制技术,并提供了功率分配算法示例。通过优化参数和控制算法,可提升系统性能。该建模方法为电力电子变换器和新能源并网系统研究提供了有效工具。

amy_mhd的博客 255

大模型的性能评测的简单概要

本文不推荐打算认真做本领域的同学阅读,本文只是作为一个简单的概要对于大模型的评测做一个十分简要的介绍与当前的成果展示,本文主要基于arxiv上的论文:A Survey on Evaluation of Large Language Models,推荐打算进一步深耕本领域的同学进行进一步的阅读,如果您只是做大模型相关的工作,想要简单的了解以下目前在评测上的工作,又苦于英文水平不足,那么本文还算是比较合适的。

lzz10081203的博客 3397

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

GLEE:一个模型搞定目标检测/实例分割/定位/跟踪/交互式分割等任务!性能SOTA!

GLEE,这是一个面向目标级别的基础模型,用于定位和识别图像和视频中的目标。通过一个统一的框架,GLEE实现了对开放世界场景中任意目标的检测、分割、跟踪、定位和识别,适用于各种目标感知任务。采用了一种协同学习策略,GLEE从具有不同监督级别的多源数据中获取知识,形成通用的目标表示,在zero-shot迁移到新数据和任务方面表现出色。具体而言,采用图像编码器、文本编码器和视觉提示器来处理多模态输入,使其能够同时解决各种以目标为中心的下游任务,同时保持最先进的性能。

AIGCer的博客 2879

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

视觉目标检测大模型套件detrex-调研

视觉目标检测detrex套件调研

qq_37662375的博客 2442

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

一定要看看的大模型【评测基准】及【评测报告】

针对于复杂任务,每个模型都要多次测试其对指示模版的适应程度。

weixin_44077556的博客 1万+

通用对象定位与识别大模型GLEE:原理部署训练全流程解析与实战指南

通用对象定位与识别大模型GLEE:原理部署训练全流程解析与实战指南

分享实践与思考 1776

首个目标检测大模型(识别万物):DINO-X(论文翻译)

有了这样灵活的提示选项,我们开发了一个通用的对象提示符来支持无提示的开放世界检测,使得在不需要用户提供任何提示的情况下检测图像中的任何东西成为可能。为了增强模型的核心能力,我们构建了一个拥有超过1亿个高质量接地样本的大规模数据集,称为。

m0_59164520的博客 7066

做完这些大模型项目,面试官直呼太牛了

大语言模型正迅速成为互联网时代最热门的技术创新之一,虽然现在该技术尚处于起步阶段,但已经开始在一些企业应用中广泛部署。接下来,我们来看看大语言模型的 10 大应用场景。一、文本翻译二、恶意软件分析三、创造文本内容四、搜索五、代码开发六、检测和预防网络攻击七、虚拟助理和客户支持八、转录九、市场调研十、SEO关键词优化读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用如果你是零基础小白,想快速入门大模型是可以考虑的。

2401_85373396的博客 1961

第6讲:检测大模型——从DETR到RT-DETR/R-DETR

from ultralytics import RTDETR import yaml print("\n" + "=" * 60) print("【实验2】RT-DETR自定义数据集训练") print("=" * 60) # ============================================ # 步骤1:准备数据集(YOLO格式) # ============================================ """YOLO格式目录结构:dataset/

Major_S的博客 261

2023 年十大目标检测模型!

上面列出的 2023 年用于对象检测的 10 大深度学习模型突出了该领域一些最有前途和创新的模型。是一种用于对象检测的深度学习模型,它使用特征金字塔网络和新的焦点损失函数。是一种用于对象检测的深度学习模型,它使用 R-CNN 网络的级联来提高对象检测的准确性。,即全卷积单阶段对象检测,是一种用于对象检测的深度学习模型,它使用全卷积架构来预测每个对象的类别和位置。是一种用于对象检测的深度学习模型,它使用热图来预测每个对象的中心。是一种用于对象检测的深度学习模型,它使用高效的主干网络和一组新的检测头。

天波风客的博客 2万+

自动化图像标注是否可靠?人人可尝试的方案

本文总结了较好的多模态分割模型,对比开源工具以及前沿论文,提出了一种适合自动化标注图像的策略。

LDC1314? 1642

CVPR2024论文盘点(10篇):包括多模态大模型,目标检测,图像分割

通过这种方法,在PASCAL VOC 2012和MS COCO 2014两个标准数据集上的实验不仅验证了CPAL的有效性,还展示了它在提升模型性能方面的显著优势,推动了该领域的进步至新的高度。随着深度学习的快速发展,模型可用训练数据规模呈指数级上升,大规模语言模型和多模态模型的通用理解能力得到了巨大的提高,出现了一批能解决多种任务的统一模型。在推理阶段,通过将先前帧中预测的物体掩码作为它们的视觉提示,UniVS 将不同的视频分割任务转化为以提示为导向的目标分割,消除了启发式的帧间匹配过程。

SmartLab307的博客 3万+

探索GLEE:一个创新的AI辅助编程工具

`GLEE`,全称为`General Language Understanding and Editing Environment`,是一个革命性的开源项目,旨在利用先进的自然语言处理和机器学习技术,为开发者提供智能的代码辅助和编辑环境。它的核心目标是提升开发效率,减少代码错误,并让编程变得更加直观和高效。 ## 技术分析 ### 自然语言理解 (NLU) `GLEE`利用深度学习模型,如B...

gitblog_00042的博客 613

CVPR 2024 | 一统所有目标感知任务,华科&字节提出目标感知基础模型GLEE

©作者 |机器之心编辑部来源 |机器之心近年来,LLM 已经一统所有文本任务,展现了基础模型的强大潜力。一些视觉基础模型如 CLIP 在多模态理解任务上同样展现出了强大的泛化能力,其统一的视觉语言空间带动了一系列多模态理解、生成、开放词表等任务的发展。然而针对更细粒度的目标级别的感知任务,目前依然缺乏一个强大的基础模型。为了解决这个问题,来自华中科技大学和字节跳动的研究团队提出了一个针对视觉目...

Paper weekly 897
上一篇: 图像处理新框架 | 语义与复原指令双引擎,谷歌研究院提出文本驱动图像处理框架TIP
下一篇: YOLOv8重磅升级!新增旋转目标检测功能
AIWalker-Happy
博客等级 码龄16年 636粉丝 70原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIWalker-Happy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值