实例分割与语义分割:输出 Y 的结构差异、指标陷阱与架构统一

RTPSeg:RGB-热红外-点云三模态3D语义分割数据集 3D语义分割是自动驾驶、机器人导航与工业质检的核心基础任务,其本质是将无序点云与多视角图像联合映射为带语义标签的三维空间结构。传统方法依赖RGB与激光雷达,但面临夜间失效、低反射目标漏检、雾天性能骤降等物理局限。热红外成像凭借被动辐射感知能力,天然弥补可见光与点云的环境适应性短板,成为提升鲁棒性的关键模态。RTPSeg数据集首次实现RGB、热红外与点云三模态严格同步采集、亚像素级标定与跨模态一致性标注,覆盖浓雾、极寒、逆光、小目标等长尾场景,支撑真正面向产业落地的多源融合建模。本文围绕该数据集的设计逻辑、物 阅读详情

0 · 导读:一句话钉死差别

语义分割是「给每个像素分配一个类别」,实例分割是「输出一个变长的 mask 集合」。 前者是逐像素多分类,后者是集合预测(set prediction)。全部差异——损失函数、评价指标、后处理、标注体系、架构路线——都由这一条推出。

输出 YYY 形状 是否区分同类个体 是否允许 mask 重叠 是否需要匹配
语义分割 Ysem∈{ 0..C}H×WY^{sem}\in\{0..C\}^{H\times W}Ysem∈{ 0..C}H×W 固定一张标签图 否 不适用(每像素恰一类) 否
实例分割 { (ck,Mk,sk)}k=1K\{(c_k,M_k,s_k)\}_{k=1}^{K}{(ck​,Mk​,sk​)}k=1K​ 变长集合,KKK 未知 是 允许 是
全景分割 Yuvpan=(cuv,zuv)Y^{pan}_{uv}=(c_{uv},z_{uv})Yuvpan​=(cuv​,zuv​) 固定图 + 实例 id 是(thing) 不允许 是

三条贯穿主线:

  1. 语义分割继承分类的全部麻烦:逐像素 softmax、类别不平衡、mIoU 按类平均。
  2. 实例分割继承检测的全部麻烦:变长无序集合、一对一匹配、PR 曲线与 AP。
  3. 架构可以统一,YYY 的约束不能:Mask2Former 用同一套 mask classification 做三件事,但验收时语义仍报 mIoU、实例仍报 AP、全景仍报 PQ(第 5 节)。

反直觉的一点:工程上最常见的翻车不是模型精度不够,而是用错验收指标。第 4.4 节给出一组实测:mIoU 判定「预测 A 远好于 B」,PQ 与 AP@0.5 判定「B 远好于 A」——同两张图、同两个预测,结论完全反转。


1 · 三种 YYY 的形式化定义

1.1 定义与约束

语义分割:把标签写成 one-hot 张量 yuvc∈{ 0,1}y_{uvc}\in\{0,1\}yuvc​∈{ 0,1},约束

∑cyuvc=1∀(u,v),Yuvsem=arg⁡max⁡cyuvc\sum_c y_{uvc}=1\quad \forall (u,v),\qquad Y^{sem}_{uv}=\arg\max_c y_{uvc}c∑​yuvc​=1∀(u,v),Yuvsem​=argcmax​yuvc​

即全覆盖 + 互斥 + 每像素恰一个类。背景/void 也占一个类别 id。

实例分割:KKK 事先未知、顺序无意义,

Yins={ (ck, Mk, sk)}k=1K,Mk∈{ 0,1}H×W, ck∈{ 1..C}, sk∈[0,1]Y^{ins}=\{(c_k,\ M_k,\ s_k)\}_{k=1}^{K},\quad M_k\in\{0,1\}^{H\times W},\ c_k\in\{1..C\},\ s_k\in[0,1]Yins={(ck​, Mk​, sk​)}k=1K​,Mk​∈{ 0,1}H×W, ck​∈{ 1..C}, sk​∈[0,1]

注意两条与语义分割相反的约束:∑kMk\sum_k M_k∑k​Mk​ 不要求等于 1(允许重叠,也允许大片未覆盖);ckc_kck​ 只对 thing 类(可数个体:牛、人、车)有意义,stuff 类(草地、天空、路面)根本不进这个集合。

全景分割:Yuvpan=(cuv,zuv)Y^{pan}_{uv}=(c_{uv},z_{uv})Yuvpan​=(cuv​,zuv​),thing 类 zuv∈{ 1..K}z_{uv}\in\{1..K\}zuv​∈{ 1..K} 且不同实例 id 不重叠,stuff 类 zuv=0z_{uv}=0zuv​=0 且整类拼成一个区域。它是「语义的全覆盖互斥」与「实例的个体 id」的交集:

Ypan=全覆盖 + 无重叠⏟来自语义  +  thing 带实例 id⏟来自实例Y^{pan} = \underbrace{\text{全覆盖 + 无重叠}}_{\text{来自语义}} \;+\; \underbrace{\text{thing 带实例 id}}_{\text{来自实例}}Ypan=来自语义 全覆盖 + 无重叠​​+来自实例 thing 带实例 id​​

1.2 为什么「实例 id」不能当类别回归:置换群 SKS_KSK​

这是本篇最容易被忽略、却决定架构的一节。实例 id 是任意标签:把两头牛的 id 1↔2 交换,描述的是同一个物理世界。于是真值集合在对称群 SKS_KSK​ 下有 K!K!K! 个等价表示。

若把 inst_id 当作类别做逐像素交叉熵,等于强行给 GT 选了一个「规范序」,损失函数对 SKS_KSK​ 不不变——这就是 label switching。C 组实测(3 个实例、循环置换、正确类概率 0.9):

标注方式 逐像素实例 id CE
顺序正确 0.105361
id 循环置换后 3.401197(放大 32.282 倍)
按最优排列重映射后 0.105361(完全恢复)

正确的写法是把匹配写进损失里:

Lset=min⁡π∈SK∑k=1KLmatch(y^π(k), yk),Lmatch=−p^π(k)(ck)+λbce BCE(M^π(k),Mk)+λdice Ldice\mathcal L_{set}=\min_{\pi\in S_K}\sum_{k=1}^{K}\mathcal L_{match}\big(\hat y_{\pi(k)},\,y_k\big),\qquad \mathcal L_{match}= -\hat p_{\pi(k)}(c_k)+\lambda_{bce}\,\mathrm{BCE}(\hat M_{\pi(k)},M_k)+\lambda_{dice}\,\mathcal L_{dice}Lset​=π∈SK​min​k=1∑K​Lmatch​(y^​π(k)​,yk​),Lmatch​=−p^​π(k)​(ck​)+λbce​BCE(M^π(k)​,Mk​)+λdice​Ldice​

LiDAR语义分割中的逆空泛性与自校准技术 LiDAR语义分割面临的核心挑战之一是点云空间分布不均导致的感知可靠性下降——即远距离、雨雾、遮挡等场景下模型置信度骤降。这一现象源于LiDAR物理衰减特性与深度网络均匀处理假设之间的根本矛盾,业内称为‘逆空泛性’。其本质是稀疏点云区域特征表达失真,引发预测不确定性激增。通过引入几何先验驱动的自校准机制,可在不修改主干网络的前提下,动态评估每个像素的点云可信度,并加权融合先验或上下文信息,显著提升远距目标(>40m)与复杂环境下的分割鲁棒性。该技术已成功落地于车载嵌入式平台与工业AGV系统,具备低延迟、零重 阅读详情

相关推荐

街景图计算绿视率:百度地图爬取与语义分割实战

绿视率(Green View Index, GVI)是衡量城市街道绿色感知的核心指标,本质是图像中植被像素占有效街道区域的比例。其计算依赖两大基础:稳定获取高分辨率街景图像,以及鲁棒的像素级植被语义分割。传统HSV色彩阈值法在玻璃反射、阴影干扰、光照变化等真实场景下失效;而通用分割模型未经街景特化适配,易漏检苔藓、垂直绿化等小目标。本文聚焦工程落地瓶颈,详解如何绕过百度地图反爬机制获取高清街景URL,结合Deeplabv3轻量化改造、鱼眼畸变矫正、CRF后处理及多维度可信度验证,构建端到端GVI计算流水线。

weixin_33834137的博客 348

CARLA语义标签生成:从渲染输出到COCO数据集的工程闭环

语义分割是自动驾驶感知训练的基础输入,其本质是将图像像素映射到预定义类别空间的结构化标注任务。核心原理依赖于传感器模型、坐标系对齐与ID协议一致性,技术价值在于 bridging 仿真与真实数据分布鸿沟,支撑BEV感知、多目标跟踪与端到端规划等关键场景。实践中,CARLA语义标签远不止导出PNG——它涉及像素级语义ID映射、实例ID解包、相机几何参数同步及跨数据集(如Cityscapes/COCO)协议转换。本文聚焦CARLA仿真环境中语义标签的可复现生成,系统解决ID映射失真、实例缺失、几何错位三大典型问

davy57345的博客 469

Uni-3DAR:自回归统一范式如何重塑3D生成与理解的技术格局

在3D人工智能领域,生成模型(如3D高斯泼溅、NeRF)与理解模型(如3D检测、分割)长期处于割裂状态,分别处理内容创造与数据分析,导致技术栈复杂且难以构建闭环智能系统。自回归(Autoregression)作为一种核心序列预测范式,通过将数据离散化为token序列并基于上下文预测下一个单元,在自然语言处理等领域已证明其统一多任务的强大能力。其技术价值在于能够用一个模型架构和训练目标处理多样化任务,极大简化开发流程并促进知识跨任务迁移。在3D场景中,自回归范式可将生成与理解任务统一形式化为条件序列生成问题,

weixin_34055787的博客 421

单全景相机BEV分割:Voxel蒸馏实现纯视觉三维空间理解

BEV(鸟瞰图)分割是自动驾驶中实现环境空间建模的基础技术,其核心在于将前视、环视等多源图像统一映射到一致的俯视坐标系,进而完成道路、障碍物等语义解析。传统方法依赖多相机+激光雷达融合,但面临标定复杂、天气鲁棒性差、部署成本高等工程瓶颈。跨模态蒸馏技术应运而生——以LiDAR模型为‘教师’,引导纯相机学生模型学习三维几何先验与语义分布,显著降低硬件依赖。Voxel表示进一步突破平面BEV局限,通过高度维度建模(如z=0.5m道路面、z=2.5m广告牌),提升对垂直结构的判别能力。该路径已在无人小巴、智慧公交

weixin_34212762的博客 464

UniAD:端到端自动驾驶的统一认知架构解析

端到端自动驾驶正从概念走向量产落地,其核心是打破传统模块化流水线,构建感知、预测、规划等任务共享的统一表征空间。这一范式依赖Transformer对多模态时序数据的联合建模能力,强调跨任务梯度共享与驾驶行为一致性约束,而非孤立优化检测或跟踪指标。技术价值在于提升复杂场景下的因果推理能力与长尾问题泛化性,典型应用于雨天变道预判、隧道出入口平稳控制及无高精地图左转等L2+功能。UniAD正是该路径的代表性工程实现,将原始图像与车辆信号直接映射为可执行控制指令。

weixin_33709609的博客 388

CARLA传感器原理与实战:从数据本质到多传感器协同

在自动驾驶仿真中,传感器是连接虚拟世界与算法模型的核心接口。理解其物理建模逻辑(如深度图为何是float32、语义ID为何需重映射)、数据调度机制(sensor_tick与同步模式的协同关系)及坐标系一致性原则,是保障仿真-实车数据迁移可靠性的基础。CARLA将传感器设计为Actor,强制其遵循统一时空规则,确保每帧图像、点云或IMU数据天然携带精确位姿,避免手动维护转换矩阵带来的误差累积。该机制直接支撑目标检测、语义分割、VIO等任务的数据闭环构建,并广泛应用于算法训练、安全验证与系统联调等工程场景。

davy57345的博客 408

低空三维遥感场景智能感知:从点云到可理解的语义三维世界

在无人机与三维视觉技术快速融合的背景下,低空三维遥感正从传统几何建模迈向更高阶的“语义重建”阶段。其本质并非简单地为无人机加装扫描设备,而是让机器理解三维场景中目标的属性、状态与空间关系。点云作为最基础的三维数据形态,与可见光影像的融合处理构成了智能感知的核心技术栈。通过三维目标检测、语义分割、变化检测等任务,系统能够识别建筑变化、线路隐患与异常聚集,支撑数字孪生、城市治理、电力巡检等规模化应用。本文结合北京航空航天大学史振威教授的研究进展,梳理了从数据采集、多模态融合到统一三维感知框架的关键逻辑,并给出一

weixin_30681615的博客 443

UniAD端到端自动驾驶:单模型统一感知-预测-规划

端到端自动驾驶是将原始传感器输入直接映射为车辆控制指令的技术范式,其核心在于打破传统模块化架构的误差累积与目标错位瓶颈。基于Transformer的统一表征学习,通过可微分鸟瞰图(BEV)空间、跨模态特征对齐与轨迹级监督,实现物理世界状态与驾驶意图的联合建模。该技术显著提升复杂城市场景下的长尾问题处理能力与运动平滑性,已应用于L3级城市NOA系统。本文深入解析UniAD的统一查询空间、规划器即解码器等关键设计,覆盖从原理理解、代码实现到实车部署的完整链路。

weixin_30315905的博客 632

LSS:从图像深度估计到BEV空间建模的范式跃迁

BEV感知是自动驾驶环境理解的核心基础,其本质是将多视角图像可靠地映射至统一的三维栅格空间。传统方法依赖高精度标定与硬融合,鲁棒性差、泛化弱;而LSS通过可微分的隐式逆投影机制,将深度建模为概率化空间采样控制器,实现跨相机几何对齐与特征融合。该范式不追求像素级深度精度,而是以深度分布为杠杆,驱动BEV体素占据、3D检测与语义分割等下游任务的端到端优化。其技术价值在于解耦‘空间建模’与‘任务预测’,支撑量产中多品牌摄像头、多安装姿态下的稳定部署。本文深入解析LSS三阶段(Lift/Splat/Shoot)原理

weixin_34321753的博客 380

EFR32BG22 Thunderboard开发板 使用SPI 读取加速度计

Simplicity Studio v5 创建Silicon Labs蓝牙SoC EFR32BG22 Thunderboard模块的加速度计工程,模块上有一个ICM-20648 6轴运动跟踪设备,集成3轴加速度计和3轴陀螺仪功能,使用SPI接口跟EFR32BG22芯片连接。 我尽量以图片的形式展示(少打字): 将EFR32BG22的Thunderboard模块通过USB线插入到电脑,打开Simplicity Studio v5软件。 下面看重点: 点击搜索到的IO Stream: USART,点击Ins

qq_25727979的博客 1497

量化爬虫第一步:手把手教你搞定同花顺问财的hexin-v参数(附JS逆向实战)

本文详细介绍了如何通过JS逆向技术破解同花顺问财数据接口的核心加密参数hexin-v,构建稳定可靠的量化数据采集方案。从抓包分析到Cookie Hook技术应用,再到环境补全与参数生成实现,手把手教你完成量化爬虫的第一步。文章还提供了实战注意事项与优化建议,帮助开发者规避常见问题。

weixin_42620202的博客 311

ffmpeg(一) ffmpeg+QT开发环境搭建

(exe 程序编译的时候只需要包含 xxx.dll.a 静态导入库,运行的时候才需要 xxx.dll 文件)这个 .pro 文件的配置,是指导程序编译的时候,可以找到对应的动态库。值得一提的是,在Windows中,静态链接库(Static Link Library)的扩展名也是.lib、.dll.a。其实只要你掌握了FFmpeg,也可以很快上手其他音视频开发库,因为底层原理都是一样的,你最终操作的都是一样的数据,比如MP3、MP4文件。导入库:不包含函数的具体实现代码(函数的具体实现代码存储在dll中)

小道士写程序 8209

通义千问语言模型Qwen2.5架构详解

此外,将基于API的模型 Qwen-Plus 与领先的专有和开源模型进行了对比,包括 GPT4-o、Claude-3.5-Sonnet、Llama-3.1-405B和DeepSeek-V2.5。Qwen2.5-Math-72B-Instruct的整体性能超越了Qwen2-Math-72B-Instruct和GPT4-o,甚至是非常小的专业模型如 Qwen2.5-Math-1.5B-Instruct也能在与大型语言模型的竞争中取得高度竞争力的表现。近来也出现了明显的转向小型语言模型(SLMs)的趋势。

搏博的专栏 1万+

商城系统全链路压测实战指南

全链路压测是模拟真实用户行为和生产环境流量,验证整个系统在高压下的稳定性和性能表现的关键手段。

monk all the way 1232

OpenOCD入门到精通:第 4 章 配置文件体系详解

本文深入解析OpenOCD配置文件的体系结构和工作机制。首先介绍了配置文件的搜索路径优先级和加载顺序,以及配置阶段与运行阶段的区别。然后详细分析了interface配置文件的适配器参数调优方法,包括ST-Link、CMSIS-DAP和FTDI等常见调试器的配置示例。最后重点讲解了target配置文件的核心结构,包括TAP声明、目标创建和工作区设置等关键步骤,并以stm32f1x为例展示了完整的配置流程。通过本文可以全面了解OpenOCD配置文件的分层设计理念和参数化配置方法。

从事嵌入式linux android驱动开发,拥有全栈能力 600

SPAD IMX479规格_VEX

对于一个量大的产品应用,选择合适的VEX数值对器件优良性能发挥是至关重要,这里面包括了BV MAP的收敛性,器件的良率,系统端的测距性能,当然VEX也关系到了PDE,DCR等参数,器件端需要balance这些器件参数,IMX479对比IMX459,最大的一个器件参数就是PDE大幅度提高,IMX611的器件很大程度也是基于IMX459,所以说SONY的所有器件参数不可能都齐头并进大幅度优化,只能根据应用端的反馈闭环拔高需要的参数。

致力于lidar应用开发 700

SAP物料主数据归档详解(物理删除)

顾问们的回答肯定的统一的不能,只能打上删除标记。物料设置好需要删除的物料号这里我们需要删除的物料是AG88,其中,若不选“考虑无删除标记的物料”,需要将需要归档的物料MM06打删除标记。平时在操作系统过程中经常会不小心创建出很多无用的物料主数据,但是系统只能通过MM06打上删除标记,但是物料最终在系统中还是可以查询到的。6、执行已设置变式的归档程序,执行完毕,点下图中的“Job”,每次执行完归档程序会产生两条作业。然后设置好开始的参数和假脱机的参数,三个都是绿灯就可以执行归档的操作,物理上删除物料主数据。

我小时候很黑的博客 5530

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

上一篇: 视觉 SLAM 前端实战深度解析:ORB 帧间匹配 / 三角化建图 / 位姿图优化与回环
下一篇: 知识图谱中的实体:从概念建模到实体抽取
reset2021
博客等级 码龄5年 567粉丝 428原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

reset2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值