GLEE:一个模型搞定目标检测/实例分割/定位/跟踪/交互式分割等任务!性能SOTA!

目标检测算法的研究现状 一阶段检测器如YOLO(You Only Look Once)和SSD(Single Shot MultiBox Detector)等,通过直接在图像上设置大量的预定义锚框(anchor boxes),并预测其类别和位置,实现快速的目标检测。Faster R-CNN的损失函数包括RPN的分类损失、RPN的边界框回归损失、Fast R-CNN的分类损失和Fast R-CNN的边界框回归损失。多模态大模型在目标检测领域的应用日益广泛,它们通过结合文本、图像等多种模态的信息,提高了目标检测的准确性和效率。 阅读详情
AI摘要

本文介绍了面向目标级别的基础模型GLEE,它通过统一框架实现对开放世界场景中目标的检测、分割等任务。采用协同学习策略,从多源数据获取知识,在zero - shot迁移上表现出色。经大量实验,GLEE在多种任务中性能领先,还能为多模态任务提供目标信息。

GLEE,这是一个面向目标级别的基础模型,用于定位和识别图像和视频中的目标。通过一个统一的框架,GLEE实现了对开放世界场景中任意目标的检测、分割、跟踪、定位和识别,适用于各种目标感知任务。采用了一种协同学习策略,GLEE从具有不同监督级别的多源数据中获取知识,形成通用的目标表示,在zero-shot迁移到新数据和任务方面表现出色。具体而言,采用图像编码器、文本编码器和视觉提示器来处理多模态输入,使其能够同时解决各种以目标为中心的下游任务,同时保持最先进的性能。通过在超过五百万张来自不同基准数据集的图像上进行广泛训练,GLEE展现出卓越的多功能性和改进的泛化性能,能够高效地处理下游任务,无需进行任务特定的调整。通过集成大量自动标注的数据,进一步增强了其zero-shot泛化能力。此外,GLEE能够集成到大语言模型中,作为一个基础模型,为多模态任务提供通用的目标级别信息。希望该方法的多功能性和通用性将在高级智能系统的高效视觉基础模型的发展中迈出重要一步。

GLEE模型和代码发布地址: https://glee-vision.github.io/

引言

基础模型是构建通用人工智能系统(AGI)的新兴范式,意味着在广泛数据上训练的模型,能够适应通用范式中的各种下游任务。最近,采用统一的输入-输出范式和大规模预训练的NLP基础模型,如BERT、GPT-3、T5,已经取得了显著的泛化能力,能够解决几乎所有NLP任务。

在计算机视觉领域,任务类型的多样性和缺乏统一形式使得视觉基础模型只能为特定子领域提供服务,例如CLIP用于多模态视觉模型,MAE用于视觉表示模型,SAM用于分割模型。尽管当前的视觉基础模型已经得到广泛研究,但仍然主要集中在建立全局图像特征与语言描述之间的相关性或学习图像级别的特征表示。然而,定位和识别目标构成了计算机视觉系统中的基础能力,为解决复杂或高级视觉任务提供基础,如分割、场景理解、目标跟踪、事件检测和行为识别,并支持广泛的应用。

在这项工作中,本文推动了视觉领域中目标级别基础模型的发展。为了解决前述的局限性,即提供通用且准确的目标级信息,引入了一种通用的目标视觉基础模型,被称为GLEE,它可以同时解决广泛的以目标为中心的任务,确保最先进的性能,包括目标检测、实例分割、定位、目标跟踪、交互式分割和跟踪等,如下图1所示。

通过统一的输入和输出范式定义,该模型能够从各种多样的数据中学习,并预测通用的目标表示,使其能够以zero-shot的方式很好地推广到新的数据和任务,并取得出色的性能。此外,由于统一的范式,通过引入大量自动标注的数据,可以以低成本扩大训练数据,并进一步提高模型的zero-shot泛化能力。

「通用目标基础模型框架」。本文的目标是构建一个能够同时处理广泛的以目标为中心任务的目标视觉基础模型。具体而言,采用图像编码器、文本编码器和视觉提示器来编码多模态输入。它们被集成到一个检测器中,根据文本和视觉输入从图像中提取目标。这种处理多模态的统一方法使我们能够同时解决各种以目标为中心的任务,包括检测、实例分割、目标指代理解、交互式分割、多目标跟踪、视频目标分割、视频实例分割以及视频指代分割,同时保持最先进的性能。

「多粒度联合监督和可扩展训练范式」。设计能够处理多个任务的统一框架使得可以在来自不同基准和不同监督级别的超过五百万张图像上进行联合训练。现有数据集在标注粒度上存在差异:像Objects365 和OpenImages这样的检测数据集提供边界框和类别名称;COCO和LVIS提供更细粒度的mask标注;RefCOCO和Visual Genome提供详细的目标描述。此外,视频数据增强了模型的时序一致性,而开放世界数据贡献了类别无关的目标标注。下图2直观地展示了使用的数据集的监督类型和数据规模。

本文方法对多源数据的统一支持极大地促进了额外手动或自动标注数据的整合,实现了数据集的轻松扩大。此外,跨任务的模型优化对齐意味着联合训练不仅作为一种统一策略,还作为提升各个任务性能的机制。

「对广泛的目标级图像和视频任务的强大zero-shot可迁移性」。在来自不同来源的数据上进行联合训练后,GLEE展现出卓越的多功能性和zero-shot泛化能力。大量实验证明,与现有的专业和通用模型相比,GLEE在目标级别图像任务(如检测、目标指代理解和开放世界检测)方面取得了最先进的性能,而无需任何特定于任务的设计或微调。此外,还展示了GLEE在大规模词汇开放世界视频跟踪任务中的卓越泛化和zero-shot能力,即使在zero-shot迁移的情况下,其性能显著优于现有模型。并且通过引入像SA1B和GRIT这样的自动标注数据,能够以较低成本将训练数据集扩大到惊人的1000万张图像,这通常对于目标级任务而言是具有挑战性的,进一步增强了泛化性能。此外,在多模态大语言模型(mLLM)中用GLEE替换了SAM组件,并观察到其取得了可比的结果。这表明GLEE能够为现代LLMs提供它们目前缺乏的视觉目标级信息,从而为以目标为中心的mLLMs奠定了坚实的基础。

相关工作

视觉基础模型

随着NLP领域的基础模型取得了显著成功,视觉基础模型的构建引起了越来越多的关注。与主要统一在文本到文本范式下的NLP任务不同,计算机视觉中的任务在形式和定义上仍然存在显著差异。这种差异导致视觉基础模型通常在单任务学习框架下训练,限制了它们对特定子领域任务的适用性。例如,像CLIP、ALIGN、Florence、BEIT3、Flamingo这样的多模态视觉基础模型通过对大规模图像-文本对进行对比学习和屏蔽数据建模,在视觉语言任务上展现了出色的zero-shot能力,取得了显著进展。DALL-E和Stable Diffusion在大量图像和标题对上进行训练,使它们能够生成受文本指令调节的详细图像内容。DINO、MAE、EVA、ImageGPT通过对大规模图像数据进行自监督训练获得强大的视觉表示,然后将其用于下游任务的迁移。这些基础模型学习的是图像级别的特征,直接应用于目标级任务存在困难。最近提出的SAM能够基于视觉提示(如点和框)对给定图像中的任何目标进行分割,提供了丰富的目标级信息并展现了强大的泛化能力。然而,该目标信息缺乏语义上下文,限制了其在目标级任务中的应用。与现有的视觉基础模型不同,本文的目标是开发一个目标基础模型,直接解决下游任务,无需额外的参数或微调。

统一和通用模型

统一模型在多任务统一方面与基础模型相似,因为它们具有在单一模型内处理多个视觉或多模态任务的能力。MuST和Intern建议跨多个视觉任务进行训练并同时解决它们。受到sequence-to-sequence NLP模型的成功启发,诸如Uni-Perceiver、OFA、Unified-IO、Pix2Seq v2和UniTAB的模型提出将各种任务建模为统一范式下的序列生成任务。尽管这些方法已经展示了有希望的跨任务泛化能力,但它们主要关注图像级别的理解任务。此外,它们自回归生成框和mask,导致推断速度明显较慢,并且性能仍然不及最先进的特定任务模型。基于检测器的工作,Uni-Perceiver v2和UNINEXT利用统一的最大似然估计和目标检索来支持各种任务,有效解决了定位的挑战。然而,它们是在封闭集数据上训练的,因此没有展现出zero-shot泛化能力。

X-decoder和SEEM构建了一个通用的解码模型,能够预测像素级分割和语言标注。与统一模型不同,提出的GLEE不仅以统一的方式直接解决目标级任务,而且提供通用的目标表示,可以很好地推广到新的数据和任务,为需要详细目标信息的更广泛任务奠定基础。

视觉语言理解

开放词汇检测(OVD)和Grounding模型都需要尽可能多地定位和识别目标。随着最近在视觉语言预训练方面的进展,OVD的一种常见策略是将预训练的视觉语言模型(VLMs)的知识迁移给目标检测器。另一组研究利用大量的图像-文本对数据集扩展检测词汇。然而,这些基于语言的检测器在本质上受到语言模型的能力和偏见的限制,使得在定位和识别两方面同时取得卓越表现变得具有挑战性。本文的目标是最大程度地利用现有数据集构建一个通用的目标级基础模型,旨在不仅有效地检测和识别目标,而且为各种下游任务提供通用的目标表示。

方法

表述

提出的GLEE包括图像编码器、文本编码器、视觉提示器和目标解码器,如下图3所示。

文本编码器处理与任务相关的任意描述,包括目标类别、以任何形式呈现的名称、关于目标的标题以及指代表达式。视觉提示器将用户输入(如点、边界框或涂鸦)编码为与目标目标相对应的视觉表示,特别是在交互式分割期间。然后,它们被集成到一个检测器中,根据文本和视觉输入从图像中提取目标。基于MaskDINO构建了目标解码器,其中包含一个具有动态类别头的网络,通过计算来自检测器的目标embedding和文本编码器的文本embedding之间的相似性。给定输入图像I ∈ ,首先使用ResNet等主干提取多尺度特征Z。然后,将它们输入到目标解码器,并在解码器输出的embedding上采用三个预测头(分类、检测和分割)。在其他目标分割模型之后,构建一个1/4分辨率的像素embedding图,通过对主干和Transformer编码器的多尺度特征图进行上采样和融合得到。最后,通过N个mask embedding和像素embedding图之间的点积,得到每个二值mask预测。

其中,FFN是一个具有ReLU激活函数和线性投影层的3层前馈head。

为了支持任意词汇和目标描述,将FFN分类器替换为文本embedding,遵循DetCLIP的方法。具体而言,将K个类别名称作为单独的句子输入到文本编码器EncL,并使用每个句子tokens的平均值作为每个类别或描述的输出文本embedding。然后,计算目标embedding和文本embedding之间的对齐分数:

这里, 是图像到文本的投影权重矩阵。

使用对齐分数替代传统的分类logits来计算训练过程中的Hungarian匹配成本,并在推理过程中为目标分配类别。为了使原始的视觉特征具有提示感知能力,在Transformer编码器之前采用了一个早融合模块,该模块按照UNINEXT的方法,将来自主干的图像特征和提示embedding作为输入,进行双向的交叉注意力操作。

任务统一

基于上述设计,GLEE 可以无缝地统一图像和视频中的各种目标感知任务,包括目标检测、实例分割、定位、多目标跟踪(MOT)、视频实例分割(VIS)、视频目标分割(VOS)、交互式分割和跟踪,并支持开放世界/大规模词汇图像和视频检测和分割任务。

「检测和实例分割」。对于检测任务,给定一个固定长度的类别列表,需要检测类别列表中的所有目标。对于类别列表长度为 K 的数据集,文本输入可以被表示为 ,其中 代表第 k 个类别名称,例如,对于 COCO,P = ["person", "bicycle", "car", ... , "toothbrush"]。对于具有大词汇的数据集,计算所有类别的文本embedding非常耗时且多余。因此,对于类别数量大于 100 的数据集,例如 Objects365 和 LVIS,假设图像中存在 个正类别,取这 个正类别,然后通过从负类别中随机采样来填充类别数到 100。对于实例分割,启用了mask分支,并使用mask损失添加了mask匹配成本。

「Grounding和Referring分割」。这些任务提供了引用文本表达,其中目标使用属性描述,例如,Referring Expression Comprehension (REC)、Referring Expression Segmentation (RES) 和 Referring Video Object Segmentation (R-VOS)旨在找到与给定语言表达(如“从左边数第四个人”)匹配的目标。对于每个图像,将所有目标表达作为文本提示,并将其馈送到文本编码器。对于每个表达,沿序列维度应用全局平均池化以获得文本embedding 。文本embedding被馈送到早融合模块,并通过解码器中的自注意力模块与目标query进一步交互。

「MOT 和 VIS」。多目标跟踪(MOT)和视频实例分割(VIS)都需要检测和跟踪预定义类别列表中的所有目标,而 VIS 需要为目标提供附加的mask。这两个任务可以被视为视频上检测和实例分割的扩展任务。在有足够图像曝光的情况下,解码器中的目标embedding能够有效地区分视频中的目标,显示出强烈的可区分性和时间一致性。因此,它们可以直接用于跟踪,无需额外的跟踪head。在图像级别数据上的训练可以处理直接的跟踪场景,但在存在严重遮挡的场景中,例如 OVIS,图像级别的训练不能保证模型在遮挡条件下表现出强烈的时间一致性。因此,对于遮挡场景,有必要利用视频数据进行训练。按照 IDOL 的方法,本文从视频中采样两帧,并在帧之间引入对比学习,使同一目标实例的embedding在embedding空间中更加接近,而不同目标实例的embedding更远。在推理过程中,通过对应目标query的简单二分匹配来跟踪检测到的目标,遵循 MinVIS 的方法。

「视觉提示分割」。交互式分割采用各种形式的视觉提示,例如点、框或涂鸦,来分割图像中指定的目标。另一方面,VOS 的目标是基于视频的第一帧中提供的mask,在整个视频中分割整个目标。在模型中提取两次视觉提示embedding。首先,从 RGB 图像中裁剪提示的正方形区域,并将其发送到主干以获取相应区域的视觉提示特征,并将其发送到 Transformer 编码器之前的早融合模块。其次,根据视觉提示从像素embedding图 中采样细粒度的视觉embedding,并使其通过 Transformer 解码器层中的自注意力模块与目标query交互,与文本embedding相同。

训练统一

「具有动态损失的任务」。在超过5百万张来自不同基准数据集的图像上以端到端的方式联合训练 GLEE,采用各种监督级别。对于在不同数据集上的训练,选择不同的损失函数。GLEE 有六种损失类型:语义Loss、框Loss、mask Loss、置信度Loss、对比跟踪Loss和蒸馏Loss。对于所有具有类别列表或目标表达的任务,将focal loss作为语义损失应用在对齐文本概念和目标特征的 logits 上。对于框预测,使用 L1 Loss和广义 IoU Loss的组合。mask Loss定义为 Dice Loss和focal loss的组合。对于视觉提示分割任务,使用额外的 FFN 来预测每个目标query的置信度分数,由focal loss监督。按照 IDOL,对于视频任务,采样两帧,并在解码器的最后一层上对目标query应用对比跟踪Loss:

其中, 和 分别是来自参考帧的属于同一目标的目标query和其他目标的目标query。对于文本编码器,从教师 CLIP 文本编码器中提取知识,以确保在预训练的视觉语言embedding空间中的文本embedding。应用 L1 损失在使用的的文本编码器和 CLIP 文本编码器之间,以最小化它们之间的距离:

「数据规模扩大」。一个视觉基础模型应该能够轻松扩大训练数据并实现更好的泛化性能。由于统一的训练范式,可以通过引入大量来自 SA1B和 GRIT的自动标注数据来以较低的成本扩大训练数据。SA1B 提供了大量且详细的mask标注,增强了模型的目标感知能力,而 GRIT 提供了更广泛的指称表达和边界框对,提高了目标识别能力和对描述的理解能力。最终,引入了 200 万个 SA1B 数据点和 500 万个 GRIT 数据点到训练过程中,将总训练数据扩大到 1000 万。

实验

实验设置

「数据集和训练策略」。进行了三个阶段的训练。最初,在 Objects365 和 OpenImages 上执行目标检测任务的预训练,在这一阶段,使用预训练的 CLIP 权重初始化文本编码器,并保持参数冻结。在第二个训练步骤中,引入了额外的实例分割数据集,包括 COCO、LVIS和 BDD。此外,又将三个 VIS 数据集:YTVIS19、YTVIS21和 OVIS视为独立的图像数据,以丰富场景。对于提供目标描述的数据集,包括 RefCOCO、RefCOCO+、RefCOCOg、Visual Genome和 RVOS。由于 Visual Genome 在单个图像中包含多个目标,将其视为检测任务,并将目标描述和目标名词短语作为类别,每批次总共有 200 个动态类别列表。此外,引入了两个开放世界实例分割数据集,UVO 和 SA1B 的一个子集。对于这两个数据集,将每个目标的类别名称设置为 'object',并在实例分割范式中进行训练。在第二步中,文本编码器解冻,但通过蒸馏损失监督,以确保在 CLIP embedding空间中的预测文本embedding。在第二步之后,GLEE 在一系列图像和视频任务中展示了最先进的性能,并展现了强大的zero-shot泛化能力,除非另有说明,下面呈现的所有实验结果均由模型在这个阶段获得。

基于此,引入了 SA1B 和 GRIT 数据集以扩大训练集,得到了一个名为 GLEE-scale 的模型,该模型在各种下游任务上展现出更强的zero-shot性能。由于仅图像数据不足以使模型学习到时间一致性特征,从 YTVIS、OVIS、RVOS、UVO 和 VOS 中引入了序列视频数据,以提高其性能,如果有特别说明。

「实现细节」。实验中,分别使用 ResNet-50、Swin-Large和 EVA-02 Large作为视觉编码器,开发了 GLEE-Lite、GLEE-Plus 和 GLEE-Pro。与 MaskDINO一样,在目标解码器中采用可变形 transformer,使用 300 个目标query。为了加速收敛并提高性能,保留了query去噪和混合匹配。在预训练期间,在 64 个 A100 GPU 上将小批量设置为 128,进行 50 万次迭代。对于联合训练,在 64 个 A100 GPU 上对 GLEE 进行 50 万次迭代的训练。

与通用模型的比较

本文展示了GLEE模型作为一个目标级别的视觉基础模型的普适性和有效性,直接适用于各种以目标为中心的任务,同时确保在无需微调的情况下保持最先进的性能。将该方法与现有的专业模型和通用模型在图像级任务上进行比较,包括检测、目标指代理解和开放世界实例分割。在 COCO 验证集和 LVIS val v1.0上报告了检测和实例分割的结果。虽然两者几乎共享相同的图像集,但 LVIS 的标注涵盖了超过 1,200 个目标类别,展示了一种长尾分布。这种区别使 LVIS 在更广泛的类别覆盖范围中更具代表性,更能反映具有挑战性的真实场景。如下表1所示,该模型在COCO和LVIS基准上均优于所有通用模型。

即使与其他最先进的专业方法相比,这些方法通过特定设计定制,GLEE模型仍然具有很高的竞争力。这表明,GLEE在掌握通用和一般的目标表示的同时,同时在目标检测和分割方面保持了先进的能力。这个特点对于适应需要精确目标定位的广泛下游任务是至关重要的。对于 REF 和 RES 任务,在 RefCOCO、RefCOCO+和 RefCOCOg上评估了GLEE模型,如前面表1所示,GLEE在理解文本描述方面取得了与 PolyFormer等最先进专业方法相媲美的结果,展示了理解文本描述的强大能力,并展示了适应更广泛的多模态下游任务的潜力。在开放世界实例分割任务中,将“object”作为类别名称,指示模型以类别无关的方式识别图像中的所有可能实例。GLEE超越了以前的技术 ODISE 8.9 分,展示了在开放世界场景中识别所有可能存在的实例的能力。

跨任务zero-shot评估

「zero-shot迁移至视频任务」。本文提出的 GLEE 能够以zero-shot的方式适应新的数据,甚至是新的任务,无需额外的微调。在三个大规模、大规模词汇量的开放世界视频跟踪数据集上评估其zero-shot能力:TAO、BURST和 LV-VIS。TAO 包括 2,907 个高分辨率视频,涵盖了 833 个类别。BURST 建立在 TAO 的基础上,包含了 425 个基础类别和 57 个新类别。LV-VIS 提供了 1,196 个明确定义的目标类别中的 4,828 个视频。这三个基准要求模型在视频中检测、分类和跟踪所有目标,而 BURST 和 LV-VIS 还需要模型的分割结果。在下表2中,提出的模型的性能与现有的专业模型进行了比较。

值得注意的是,这里的 GLEE 来自第二个训练阶段,它没有接触过这三个数据集的图像,也没有在视频级别的数据上进行训练。尽管有这些限制,GLEE 实现了显著超越现有方法的最先进性能。具体而言,GLEE 在 TAO 上超过了先前最佳方法 OVTrack 36.0%,在 BURST 中几乎将最佳基线的性能提高了三倍,并在 LV-VIS 中超过了 OV2Seg 43.6%。这一卓越的表现充分验证了 GLEE 在处理跨越一系列基准和任务的目标级任务中的出色泛化和zero-shot能力。

还在经典视频分割任务上进行了性能比较,包括 VIS、VOS 和 RVOS。如下表4所示,在 YTVIS2019基准上,GLEE模型在各种模型规模下都取得了 SOTA 的结果,超过了所有具有复杂设计以增强时间能力和视频统一模型 UNINEXT的专业模型。

在 OVIS基准上,该基准具有大量目标遮挡的漫长视频,其中目标特征的时间能力特别关键,的模型没有直接达到 SOTA。然而,在简单微调几个小时后,它仍然实现了 SOTA 的性能。这进一步验证了GLEE模型的多才多艺和泛化能力。有关视频任务zero-shot评估和交互分割和跟踪演示的更多详细信息,请参见补充材料的第7节。

「zero-shot迁移至现实世界的下游任务」。为了衡量在不同的现实世界任务上的泛化性能,我们在 OmniLabel上评估了zero-shot性能,这是一个用于评估基于语言的目标检测器的基准,并鼓励目标的复杂和多样的自由形式文本描述。如下表5所示,与在大规模字幕数据上训练的基于语言的检测器相比,GLEE在 P-categ 中明显优于先前的模型。

然而,由于训练数据集中字幕有限,在 AP-descr 中得分较低。通过引入来自 GRIT的更多样的盒子字幕数据来扩大训练集,AP-descr 可以提升到与现有模型相当的水平。在“Object Detection in the Wild” (ODinW) 基准上进行了额外的实验,该基准是一个涵盖了各种领域的数据集套件。我们报告了 [52] 中引入的 13 个 ODinW 检测数据集的平均 mAP,并报告了zero-shot方式下每个数据集的性能,如下表3所示。

GLEE在 13个公共数据集的平均上表现优于 GLIP,展示了其强大的泛化能力。此外,通过以低成本引入自动标注的数据来扩大训练数据,zero-shot能力可以进一步增强,这表明 GLEE 通过规模化具有更大的潜力。关于在 ODinW 上每个数据集的 few-shot 性能的更全面报告可在补充材料中找到,以评估 GLEE 对其他数据集的适应能力。

作为基础模型

为了探讨 GLEE 是否可以作为其他体系结构的基础模型,选择了 LISA进行分析,这是一个将 LLAVA与 SAM 结合起来进行分割推理的 mVLLM。用预训练的 GLEE-Plus 替换了它的视觉主干,将 GLEE 的目标query输入到 LLAVA 中,并删除了 LISA 的解码器。直接将输出的 SEG tokens与 GLEE 特征图进行点积,以生成mask。如下图 4 所示,在相同步骤数的训练后,修改后的 LISA-GLEE 实现了与原始版本相当的结果,证明了 GLEE 表示的多功能性以及其在为其他模型提供服务方面的有效性。

消融实验

实验以研究在各种任务中zero-shot性能上训练数据规模的影响。为此,使用 10%、20%、50%、100% 的训练数据对 GLEE-Pro 进行了训练,评估了zero-shot迁移任务的性能,包括 TAO、BURST、OVIS 和 YTVIS,如下图 5 所示。

数据规模实验证明,训练数据集的增加可以提高在不同下游任务中的zero-shot性能。这一结果意味着更大的预训练数据集是一项有价值的投资,为广泛的下游任务提供了更有效和可适应的基础。由于 GLEE 的统一训练方法,可以高效地将任何手动或自动标注的数据纳入训练过程,以实现增强的泛化能力。

结论

本文引入了GLEE,这是一种先进的目标级基础模型,专为直接应用于各种目标级图像和视频任务而设计。通过采用统一的学习范式,GLEE从具有不同监督级别的各种数据源中学习。GLEE在许多目标级任务上取得了最先进的性能,并在zero-shot迁移到新数据和任务时表现出色,显示出其卓越的多功能性和泛化能力。此外,GLEE提供了通用的视觉目标级信息,这是现代LLM中目前缺失的,为面向目标的多模态语言模型(mLLMs)奠定了坚实的基础。

参考文献

[1] General Object Foundation Model for Images and Videos at Scale

论文链接:https://arxiv.org/pdf/2312.09158

 多精彩内容,请关注公众号:AI生成未来

目标检测、跟踪和图像检索 数据库 目标检测、跟踪、识别标准测试视频集和图像数据库 一个网友收集的运动目标检测,阴影检测的标准测试视频 http://blog.csdn.net/sunbaigui/article/details/6363390   很权威的change detection检测视频集,里面有将近20种主流算法在这个测试集上的运行结果和ROC,PRA曲线 http://changedetect 阅读详情

相关推荐

大模型时代下的目标检测的三点尝试

在机器学习和计算机视觉领域中通常指的是与整张图像相关的标签或数据,而不是图像中单个对象或像素的详细标注。简单来说就是一张图片会有一点文字描述流行的数据集有。

qq_45827638的博客 1552

通用对象定位与识别大模型GLEE:原理部署训练全流程解析与实战指南

通用对象定位与识别大模型GLEE:原理部署训练全流程解析与实战指南

分享实践与思考 1776

避坑指南:C#调用CodeSoft打印标签时常见的5个错误及解决方法

本文总结了C#调用CodeSoft打印标签时常见的5个核心错误及解决方案,涵盖环境配置、模板加载、变量赋值、打印机切换和资源管理。重点解析了如何避免COM对象创建失败、模板路径错误、变量名不匹配、打印机切换异常及内存泄漏等问题,帮助开发者实现稳定高效的标签打印集成。

weixin_29215815的博客 237

General Object Foundation Model for Images and Videos at Scale

GLEE是一个用于定位和识别图像和视频中对象的对象级基础模型。通过统一的框架,GLEE实现了在开放世界场景中对各种对象感知任务的检测、分割、跟踪、定位和识别。采用一种连贯的学习策略,GLEE从具有不同监督级别的多样化数据源中获取知识,以形成通用的对象表示,在零样本转移到新数据和任务上表现出色。GLEE使用了图像编码器、文本编码器和视觉提示器来处理多模态输入,使得能够同时解决各种以对象为中心的下游任务,同时保持最先进的性能。

qq_52684249的博客 1308

VScode远程连接开发嵌入式开发板

VScode远程连接开发调试嵌入式开发板

qq_53221728的博客 5893

别再为GEE注册发愁了!用谷歌Cloud Project,5分钟搞定谷歌地球引擎账户(保姆级图文)

本文提供2024最新版谷歌地球引擎(GEE)账户注册的保姆级教程,通过谷歌Cloud Project快速完成注册,5分钟极速通关。详细解析注册前的准备、分步图解流程、常见误区及解决方案,帮助用户避开90%的注册陷阱,直达GEE核心功能区。

weixin_42557830的博客 205

CVPR2024论文盘点(10篇):包括多模态大模型,目标检测,图像分割

通过这种方法,在PASCAL VOC 2012和MS COCO 2014两个标准数据集上的实验不仅验证了CPAL的有效性,还展示了它在提升模型性能方面的显著优势,推动了该领域的进步至新的高度。随着深度学习的快速发展,模型可用训练数据规模呈指数级上升,大规模语言模型和多模态模型的通用理解能力得到了巨大的提高,出现了一批能解决多种任务的统一模型。在推理阶段,通过将先前帧中预测的物体掩码作为它们的视觉提示,UniVS 将不同的视频分割任务转化为以提示为导向的目标分割,消除了启发式的帧间匹配过程。

SmartLab307的博客 3万+

LayaBox CommandBuffer描边使用详细

项目需要使用LayaBox做一个给3D物体动态描边的一个功能,前前后后踩了一些坑算是把这个东西给做出来了把我改好的代码贴上,分享给大家。 (1)想要使用描边你的引擎版本必须 >=2.9.0 (2)你必须下载 Laya官方的BlurShader库才能使用这个功能,下载地址:https://github.com/layabox/layaair-demo/tree/master/h5/3d/ts/LayaAir3D_PostProcess/BlurShader 下载完之后把BlurShader放到自己项目的

小智队长 1736

自动化图像标注是否可靠?人人可尝试的方案

本文总结了较好的多模态分割模型,对比开源工具以及前沿论文,提出了一种适合自动化标注图像的策略。

LDC1314? 1642

Cisco Packet Tracer实战:三层交换机链路聚合配置全流程(附常见错误排查)

本文详细解析了在Cisco Packet Tracer环境中配置三层交换机链路聚合的全流程,包括基础网络设置、LACP协议配置、路由协议集成及高级优化技巧。通过实战案例和常见错误排查指南,帮助网络工程师和CCNA备考学员掌握这一提升带宽利用率和实现链路冗余的核心技术。

grafana6viz的博客 233

RK3588+YT9215快速拓展以太网口

YT9215支持7个端口的非阻塞数据传输,确保高效的数据流处理;在开发过程中,最重要的一点就是YT9215与RK3588的GMAC连接和配置部分,下面是gmac1对应dtsi文件的修改,包括注释掉rgmii_phy1对应的mdio1,以及gmac1对应的phy-handle部分,同时将gmac1修改成1000Mbps全双工模式。这就是最简单,最快速的RK3588拓展网口的方法了,如果需要用到交换芯片的其他功能,那就不可以直接使用原厂提供的bin,而是需要对YT9215进行另外的驱动开发。

带着耳朵取流浪的博客 2797

通用检测大模型 | GLEE:开放世界检测&分割开放的一切!

作者|AIWalker 编辑| 极市平台点击下方卡片,关注“自动驾驶之心”公众号ADAS巨卷干货,即可获取点击进入→自动驾驶之心【大模型】技术交流群本文只做学术分享,如有侵权,联系删文导读通过一个统一的框架,GLEE可以在开放世界场景中完成任意物体的检测、分割、跟踪、接地和识别,以完成各种物体感知任务。论文链接:https://arxiv.org/abs/2312.09158代码链接:h...

CV_Autobot的博客 3323

Vue 前端导出页面A4大小pdf,Vue前端导出pdf自动切割换页不切割内容 Vue导出页面pdf自动分页和添加页码 导出的pdf提高清晰度

【代码】Vue 前端导出页面A4大小pdf,Vue前端导出pdf自动切割换页不切割内容 Vue导出页面pdf自动分页和添加页码 导出的pdf提高清晰度。

weixin_41346436的博客 1801

CVPR 2024 | 一统所有目标感知任务,华科&字节提出目标感知基础模型GLEE

©作者 |机器之心编辑部来源 |机器之心近年来,LLM 已经一统所有文本任务,展现了基础模型的强大潜力。一些视觉基础模型如 CLIP 在多模态理解任务上同样展现出了强大的泛化能力,其统一的视觉语言空间带动了一系列多模态理解、生成、开放词表等任务的发展。然而针对更细粒度的目标级别的感知任务,目前依然缺乏一个强大的基础模型。为了解决这个问题,来自华中科技大学和字节跳动的研究团队提出了一个针对视觉目...

Paper weekly 897

WPF+MVVM案例实战(二十三)- 阴影效果详解

通过附加属性实现阴影效果,通过改变不同的阴影属性值达到不同阴影效果

lingshuangcanxue 561

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

探索GLEE:一个创新的AI辅助编程工具

`GLEE`,全称为`General Language Understanding and Editing Environment`,是一个革命性的开源项目,旨在利用先进的自然语言处理和机器学习技术,为开发者提供智能的代码辅助和编辑环境。它的核心目标是提升开发效率,减少代码错误,并让编程变得更加直观和高效。 ## 技术分析 ### 自然语言理解 (NLU) `GLEE`利用深度学习模型,如B...

gitblog_00042的博客 613

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

离职谷歌的Transformer作者创业,连发3个模型(附技术报告)

点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院公众号ID|计算机视觉研究院学习群|扫码在主页获取加入方式论文标题:GLEE: General Object Foundation Model for Images and Videos at Scale论文地址:https://arxiv.org/abs/2312.09158代码地址:https://github.com/FoundationV...

gzq0723的博客 305

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

CVPR 2024 | GLEE 华科与字节跳动联手打造全能目标感知基础模型

关注公众号,发现CV技术之美近年来,LLM在文本处理的领先地位和视觉模型如CLIP在多模态任务上优秀的泛化表现,展示了基础模型在推进多模态感知、理解、生成方面的强大潜力。基础模型通过大规模预训练获得了强大泛化性,不断推动着整个领域的进步。我们能否构建一个针对目标感知领域的基础模型,突破训练规模限制,促进所有感知任务呢?在这一命题上,最近的一项研究 GLEE 取得了进展。GLEE是是华中科技大学白翔...

我爱计算机视觉 1841

通用检测大模型 | 华科白翔团队提出以对象为中心的基础模型GLEE

本文首发:AIWalker后台回复【】即可下载原文与译文。。具体来说,。通过对来自不同基准的500多万张图像进行广泛的训练,GLEE表现出显着的多功能性和改进的泛化性能,有效地处理下游任务,而不需要特定于任务的适应。通过集成大量的自动标注数据,我们进一步增强了其零炮概化能力。此外,。我们希望,我们的方法的可靠性和普遍性将标志着一个重要的一步,有效的视觉基础模型的AGI系统的发展。模型和代码将在/上发布。

聚焦底层视觉处理,对相关基础AI技术持续学习 1214

vim-indent-guides 高级技巧:混合缩进样式支持与性能优化

vim-indent-guides 是一款强大的 Vim 插件,能够可视化显示代码中的缩进层级,帮助开发者更清晰地理解代码结构。本文将分享一些高级技巧,包括如何配置混合缩进样式支持以及优化插件性能,让你的 Vim 编辑体验更上一层楼。 ## 一、混合缩进样式配置指南 🛠️ 在实际开发中,不同项目可能采用不同的缩进样式,有的使用空格,有的使用制表符。vim-indent-guides 提供了灵

gitblog_00833的博客 1089

国家中小学智慧教育平台电子课本解析器:高效获取教育资源的完整解决方案

在数字化教育蓬勃发展的今天,国家中小学智慧教育平台已成为广大师生获取优质教育资源的重要渠道。然而,在线浏览电子课本时面临网络依赖、访问限制等诸多不便。tchMaterial-parser作为一款专业的电子课本解析下载工具,完美解决了这一痛点,让您能够轻松将平台上的电子课本转换为可离线使用的PDF文件,实现教育资源的自由获取与管理。 ## 📋 项目概览与核心价值 tchMaterial-par

gitblog_00104的博客 792

VALSE 2024 Workshop报告分享┆多模态大模型Monkey及其在文档智能中的应用

本文总结了VALSE 2024的Workshop报告《多模态大模型Monkey及其在文档智能中的应用》的精彩内容,方便读者学习。

audyxiao001的博客 1717

首个目标检测大模型(识别万物):DINO-X(论文翻译)

有了这样灵活的提示选项,我们开发了一个通用的对象提示符来支持无提示的开放世界检测,使得在不需要用户提供任何提示的情况下检测图像中的任何东西成为可能。为了增强模型的核心能力,我们构建了一个拥有超过1亿个高质量接地样本的大规模数据集,称为。

m0_59164520的博客 7066

GLEE: General Object Foundation Model for Images and Videos at Scale 论文详细解读

GLEE提出了一个统一的目标检测基础模型,通过多任务学习在单一架构中处理多种相关任务。架构创新: 基于Transformer的统一多任务架构训练策略: 有效的多任务联合训练方法性能提升: 在多个基准数据集上取得了优异的性能这项工作为构建通用的视觉理解模型提供了重要的参考,展示了多任务学习在计算机视觉领域的巨大潜力。

qq_75211380的博客 544

基于多模态大语言模型的上下文目标检测

摘要最近的多模态大语言模型(MLLMs)在视觉-语言任务(如图像描述和问答)中表现出色,但缺乏关键的感知能力,即目标检测。本文提出了一种新的研究问题——上下文目标检测,即在人机交互的上下文中理解可见物体。我们研究了三种代表性场景:语言填空测试、视觉描述生成和问答。此外,我们提出了ContextDET,一种统一的多模态模型,能够端到端地对视觉-语言上下文进行可微分建模,从而定位、识别并将视觉对象与语言输入关联起来,以支持人机交互。

m0_59235245的博客 3503

大模型时代的目标检测

也是开放集任务,相比于 open set,需要知道不在训练集类别中的新预测物体类别。这类模型通常都需要接入文本作为一个模态输入,因为开放词汇目标检测的定义就是给定任意词汇都可以检测出来。这个任务是指在实际应用上可以检测任何前景物体,但是有些不需要预测类别,只要检测出框就行。在很多场合也有应用场景,有点像类无关的增量训练。训练时候通常是要确保训练集和测试集的类别不能重复,否则就是信息泄露了,但是训练和测试集图片是否重复其实也没有强制限制。

liguandong 1343
上一篇: 技术与艺术的完美结合,AI艺术字生成平台一览
下一篇: 如何科学评价视频生成模型?AIGCBench:全面可扩展的视频生成任务基准来了!
AI生成未来
博客等级 码龄3年 3396粉丝 400原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值