目标检测技术的发展:从R-CNN、YOLO到DETR、DINO

VIP目标检测技术的发展:从R-CNN、YOLO到DETR、DINO
OV-DINO的出现标志着在开放域目标检测领域的重大进步,其在处理未见过的物体类别时的能力得到了显著提升。这项技术对于需要适应未知或变化环境的应用具有重要意义,如自动驾驶、机器人视觉、安防监控等。
开通可读全文 ·2.6k 人阅读
最低0.47元/天 解锁文章

“深度人工智能”是成都深度智谷科技旗下的人工智能教育机构订阅号,主要分享人工智能的基础知识、技术发展、学习经验等。此外,订阅号还为大家提供了人工智能的培训学习服务和人工智能证书的报考服务,欢迎大家前来咨询,实现自己的AI梦!

目标检测技术在过去十年间经历了显著的发展,从基于传统机器学习的方法逐步过渡到深度学习驱动的解决方案。在深度学习兴起之前,目标检测主要依靠人工设计的特征和机器学习算法。典型的方法包括:使用滑动窗口配合特征提取(如HOG特征)、SVM(支持向量机)AdaBoost等分类器、特征选择和组合(如Haar特征、LBP特征)等。

2012年,AlexNet在ImageNet竞赛中的胜利标志着深度学习在图像分类任务上的突破,这也促进了后续目标检测技术的发展。随后,深度学习开始在目标检测领域崭露头角,目标检测领域的技术发展经历了从基于卷积神经网络(CNN)的架构到基于Transformer架构的重要转变。最初的突破来自于基于CNN的模型,如R-CNN系列(包括R-CNN、Fast R-CNN和Faster R-CNN),这些模型通过引入区域提议网络(RPNs)和端到端的训练方式,大幅提升了目标检测的准确性。

图片

然而,这些模型在计算效率方面存在局限,特别是在实时应用中。随后,YOLO(You Only Look Once)系列模型的出现,以其一次性的检测方式和高效的性能,迅速成为实时目标检测的标准之一。YOLO模型通过直接从图像中预测边界框和类别概率,大大简化了检测流程,提高了速度,但早期版本在小目标检测和边界框精度上仍有不足。

随着深度学习技术的进步,基于Transformer架构的DETR(DEtection TRansformer)模型系列开始崭露头角。DETR利用了Transformer的强大序列建模能力,通过自注意力机制处理图像特征,理论上能够更好地捕捉全局上下文信息。

图片

尽管DETR在初始版本中表现出色,但由于其较长的训练时间和对小目标检测能力的限制,后续的研究者对其进行了多种改进。DINO(DETR with Improved deNoising AnchOr Boxes)系列模型通过改进去噪锚框机制、引入混合查询以及其他优化手段,提高了模型的收敛速度和检测性能,尤其在小目标检测方面取得了显著进步。

从CNN到Transformer的转变,不仅是网络架构的变化,更是对目标检测任务本质理解的深化。Transformer架构因其在处理长距离依赖关系上的优势,成为自然语言处理领域的主流架构,并逐渐渗透到计算机视觉领域,特别是在需要理解全局上下文的任务中展现出了强大潜力。此外,随着视觉和语言模型的融合加深,如Grounding DINO等模型的出现,未来的检测模型将更加注重跨模态的信息融合,以实现更灵活、更强大的视觉理解能力。


一

 

R-CNN(Region-based Convolutional Neural Networks)

1、R-CNN的发展历程

R-CNN(Region-based Convolutional Neural Networks)的发展史是目标检测领域的一个重要组成部分。R-CNN的演变体现了从传统的基于手工特征的目标检测方法向基于深度学习的方法转变的过程。下面是R-CNN及其衍生模型的发展历程概述:

(1). R-CNN (2014)

R-CNN是由Ross Girshick等人提出的,它是首个将深度学习应用于目标检测的重要模型。R-CNN的主要特点包括:

  • 使用选择性搜索(Selective Search)来生成候选区域(Region Proposals)。

  • 对每个候选区域单独裁剪,并通过预先训练好的CNN提取固定大小的特征图。

  • 利用SVM进行分类,并通过线性回归修正边界框的位置。

R-CNN在当时达到了非常高的检测精度,但它也有明显的缺点,如训练和推断速度慢,因为每次检测都需要运行选择性搜索,并且分类和边界框回归需要额外的步骤。

图片

(2). SPP-net (Spatial Pyramid Pooling Network, 2014)

为了解决R-CNN中重复计算的问题,何凯明等人提出了SPP-net。SPP-net引入了空间金字塔池化(Spatial Pyramid Pooling, SPP)层。

  • 允许输入图像的尺寸可以是任意。

  • 同时只在整张图像级别上运行一次CNN,减少了计算量。

图片

(3). Fast R-CNN (2015)

Fast R-CNN进一步简化了R-CNN的流程,它将分类和边界框回归集成到了同一个网络中,共享卷积特征,大大加速了训练和推断速度。

  • 采用了RoI Pooling层,将不同大小的候选区域映射到固定大小的特征图上。

  • 将分类和边界框回归任务整合到一个多任务框架中。

图片

(4). Faster R-CNN (2015)

Faster R-CNN是R-CNN系列中的一个重要里程碑,它引入了区域提议网络(Region Proposal Network, RPN),代替了外部的选择性搜索工具。

  • RPN是一个完全卷积网络,可以预测出一组候选区域及其对应的前景/背景概率。

  • RPN和Fast R-CNN共享卷积特征,进一步加速了检测过程。

图片

(5). Mask R-CNN (2017)

Mask R-CNN是Faster R-CNN的一个扩展,它增加了第三个分支用于像素级的实例分割。

  • 在Faster R-CNN的基础上添加了一个用于生成分割掩码的分支。

  • 使得模型不仅能检测目标的位置和类别,还能生成每个目标的精确轮廓。

图片

2、R-CNN的核心技术

R-CNN系列模型(包括R-CNN、Fast R-CNN、Faster R-CNN等)在目标检测领域发挥着举足轻重的作用,它们通过一系列关键技术的革新,逐步解决了早期模型中存在的问题,推动了目标检测技术的发展。

最初的R-CNN(Region-based Convolutional Neural Networks)由Ross Girshick等人在2014年提出,它开创性地将深度学习技术应用于目标检测任务。R-CNN的核心技术之一是区域提议(Region Proposal),它使用选择性搜索(Selective Search)来生成候选区域。这些候选区域随后被裁剪并调整大小,以便输入到预先训练好的卷积神经网络(CNN)中提取特征。

图片

提取的特征被用于训练支持向量机(SVM)分类器,以对每个候选区域进行分类。此外,R-CNN还通过线性回归模型来调整边界框的位置,以更精确地匹配实际目标的位置。然而,R-CNN的多阶段处理方式导致了训练和推断速度较慢的问题,因为每个候选区域都需要单独处理,并且分类和边界框回归需要额外的步骤。

为了解决R-CNN存在的问题,Fast R-CNN在2015年应运而生。Fast R-CNN引入了RoI Pooling层(改进为RoI Align层),该层允许网络直接从候选区域提取特征,并将分类和边界框回归任务整合到一个多任务框架中。这意味着整个过程只需要一次卷积计算即可完成特征提取,从而大大提高了训练和检测的速度。Fast R-CNN不仅提高了效率,还在一定程度上改善了检测精度。

图片

紧接着,Faster R-CNN进一步优化了候选区域的生成过程。它引入了区域提议网络(Region Proposal Network, RPN),这是一个完全卷积网络,用来替代选择性搜索工具,实现候选区域的实时生成。RPN网络使用滑动窗口在特征图上生成候选区域,并通过softmax层预测每个区域是否包含目标。RPN与检测网络共享卷积特征,进一步提高了系统的效率。Faster R-CNN不仅继承了Fast R-CNN的优点,还在速度和精度之间找到了更好的平衡。

图片

随着R-CNN系列模型的发展,检测精度和速度得到了显著提升,同时也为后续的目标检测技术如YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)以及基于Transformer架构的DETR(DEtection TRansformer)等提供了重要的参考和发展方向。这些模型继续推动着目标检测技术的进步,使之在自动驾驶、安防监控、医疗诊断等多个领域得到广泛应用。

3、R-CNN存在的问题

R-CNN系列网络(包括R-CNN、Fast R-CNN、Faster R-CNN等)虽然在目标检测领域取得了显著的进步,但仍然存在一些固有的问题,这些问题限制了它们在某些特定应用中的表现。下面详细探讨这些问题:

(1). 训练和推理速度慢

R-CNN:R-CNN需要为每个候选区域分别执行CNN特征提取,并且使用支持向量机(SVM)进行分类,这导致了非常高的计算成本。在实际应用中,每张图片可能产生数百个甚至上千个候选区域,这意味着每次检测都需要多次运行CNN,导致训练和推断速度极慢。

Fast R-CNN:虽然Fast R-CNN通过共享卷积特征和引入RoI Pooling层来简化流程,从而提高了处理速度,但仍然需要处理大量的候选区域。特别是当候选区域数量较多时,计算量仍然较大,这影响了实时性的应用。

(2). 复杂的训练流程

VIP 卷积神经网络之Yolo详解 IoU用于衡量预测框与真实框的重叠程度,是目标检测中的基础评估指标。置信度反映了模型对于其预测框包含物体的信心。精确率衡量了预测为目标的框中,实际是目标的比例。召回率衡量了模型能够找到的真实目标的比例。精确率与召回率之间通常存在权衡,需要根据实际需求选择合适的指标。读到这里大家可能对tp tn fp fn仍有疑问,不要着急下面更详细的来了:在机器学习和目标检测中,TPFPTN和FN是用来衡量模型性能的四个基本概念,它们主要用于评估分类任务的准确性。 开通可读全文·9.2k 阅读·38 点赞·115 收藏 阅读全文

相关推荐

YOLO系列算法

目录YOLO系列算法yolo算法Yolo算法思想Yolo的网络结构网络输入网络输出7X7网格30维向量Yolo模型的训练训练样本的构建损失函数模型训练模型预测yolo总结yoloV2预测更准确(better)batch normalization使用高分辨率图像微调分类模型采用Anchor Boxes聚类提取anchor尺度边框位置的预测细粒度特征融合多尺度训练速度更快(Faster)识别对象更多yoloV3算法简介多尺度检测网络模型结构先验框logistic回归yoloV3模型的输入与输出yoloV4总结

最白の白菜的博客 3万+

(论文速读)DINO:改进去噪锚框的DETR目标检测模型

DINO是一种改进的端到端目标检测器,通过三个关键创新提升DETR类模型的性能。首先,对比去噪训练(CDN)引入正负样本对,有效减少重复预测;其次,前瞻两次方案(LFT)优化解码器梯度传播,提升框预测精度;最后,混合查询选择结合动态和静态查询,平衡收敛速度和训练稳定性。实验表明,DINO在COCO数据集上达到63.3AP的SOTA性能,且训练效率显著提高,12轮训练即可超越传统方法50轮的效果。该研究为端到端检测器的发展提供了新思路。

LJ1147517021的博客 1488

【目标检测】RT-DETR

在CVPR 2024上,研究者提出了一种名为RT-DETR的实时目标检测器,首次在速度和精度上超越了YOLO系列模型。RT-DETR通过设计高效混合编码器和不确定性最小化查询选择机制,解决了传统DETR模型计算成本高的问题,并消除了非极大值抑制(NMS)对检测速度和精度的负面影响。实验结果显示,RT-DETR在COCO数据集上达到了53.1%/54.3% AP,并在T4 GPU上实现了108/74 FPS,显著优于现有YOLO模型。此外,RT-DETR支持通过调整解码器层数灵活调节速度,无需重新训练即可适应

weixin_44184852的博客 2362

【Qt】QByteArray详解

对象共享同一份数据,直到修改时才进行深拷贝,以节省内存和计算资源。:可存储任意二进制数据(如图片、音频、协议数据),不依赖字符编码。与编码(如 UTF-8、Latin-1)之间的桥梁(例如。• 补零规则确保奇数字符串能正确解析,避免数据截断。:内部自动分配和释放内存,无需手动管理。将输入的字符串视为十六进制编码数据,返回实际数据长度(不包括结尾的。的输入必须是有效的十六进制字符(,但针对 Qt 框架做了优化。:处理加密后的二进制结果(如。• 如果输入字符串长度为奇数,• 若输入长度为奇数,自动在。

CSUC的博客 1599

FPGA开发者必看:Xilinx PCIe IP核BAR地址配置避坑指南(附实例解析)

本文为FPGA开发者提供了Xilinx PCIe IP核中BAR地址配置的详细避坑指南。文章深入解析了32位与64位地址空间的选择逻辑、Pcie to AXI Translation参数的核心作用,并通过实例说明如何正确配置以避免地址映射错乱和数据访问失败。重点探讨了BAR空间类型、大小设定以及地址转换机制,帮助开发者构建清晰可靠的PCIe系统,是调试与优化PCIe设计的关键参考。

weixin_29252171的博客 426

从原理到实现:在《图灵完备》中构建一个144*256像素、1536时钟刻/帧的视频播放器

本文详细解析了在《图灵完备》游戏中构建144*256像素、1536时钟刻/帧视频播放器的全过程。从图灵完备原理出发,通过分层架构设计、视频数据预处理和关键电路实现,展示了如何用基础电子元件模拟现代显卡功能。重点介绍了像素坐标定位系统和颜色数据处理流水线的优化方案,为游戏内复杂电子系统设计提供实践指导。

weixin_42520025的博客 446

zynq7020的arm A9核降频实录

zynq arm9 cortex a9 降频

qq_40011737的博客 8766

PVE 8.0 保姆级换源教程:从Debian到LXC仓库,一次搞定国内镜像(附弹窗去除)

本文提供PVE 8.0保姆级换源教程,涵盖从Debian基础源到LXC仓库的国内镜像配置,并附赠去除订阅弹窗的实用技巧。通过详细步骤和命令示例,帮助用户快速优化ProxmoxVE环境,提升下载速度并消除干扰提示,适用于虚拟化平台的高效管理。

weixin_33282146的博客 416

5分钟搞定:用Pyannote和Whisper实现带说话人分离的语音转文字(附完整代码)

本文详细介绍了如何快速构建一个集成了说话人分离功能的语音转文字系统。通过结合OpenAI的Whisper模型进行高精度语音识别和Pyannote模型实现说话人分离,并提供了完整的代码实现、环境搭建指南以及核心的对齐与合并逻辑,帮助开发者高效处理会议录音、访谈等多说话人音频,实现自动化转录。

threejs5artist的博客 638

在UI界面中播放视频_unity基础开发教程

之前我写过一篇在场景中播放视频的文章,但是在开发中有时候也会在UI的界面中播放视频,这期我们做一下在UI的界面中播放视频。操作步骤比较简单,到这里就完成了,如果有问题的话可以在评论区留言,下期见,拜拜!

为者常成,行者常至! 2016

【ubuntu】【VirtualBox】VirtualBox无法加载USB移动设备的解决方法(支持U盘启动盘)

提示:测试可用。

联系方式:927632640 2442

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 物体识别之微特征识别任务综述
下一篇: 从Hinton获得今年的诺贝尔物理学奖说起
深度人工智能
博客等级 码龄5年 637粉丝 118原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值