0 · 导读:一句话钉死差别
语义分割是「给每个像素分配一个类别」,实例分割是「输出一个变长的 mask 集合」。 前者是逐像素多分类,后者是集合预测(set prediction)。全部差异——损失函数、评价指标、后处理、标注体系、架构路线——都由这一条推出。
| 输出 YYY | 形状 | 是否区分同类个体 | 是否允许 mask 重叠 | 是否需要匹配 | |
|---|---|---|---|---|---|
| 语义分割 | Ysem∈{ 0..C}H×WY^{sem}\in\{0..C\}^{H\times W}Ysem∈{ 0..C}H×W | 固定一张标签图 | 否 | 不适用(每像素恰一类) | 否 |
| 实例分割 | { (ck,Mk,sk)}k=1K\{(c_k,M_k,s_k)\}_{k=1}^{K}{(ck,Mk,sk)}k=1K | 变长集合,KKK 未知 | 是 | 允许 | 是 |
| 全景分割 | Yuvpan=(cuv,zuv)Y^{pan}_{uv}=(c_{uv},z_{uv})Yuvpan=(cuv,zuv) | 固定图 + 实例 id | 是(thing) | 不允许 | 是 |
三条贯穿主线:
- 语义分割继承分类的全部麻烦:逐像素 softmax、类别不平衡、mIoU 按类平均。
- 实例分割继承检测的全部麻烦:变长无序集合、一对一匹配、PR 曲线与 AP。
- 架构可以统一,YYY 的约束不能:Mask2Former 用同一套 mask classification 做三件事,但验收时语义仍报 mIoU、实例仍报 AP、全景仍报 PQ(第 5 节)。
反直觉的一点:工程上最常见的翻车不是模型精度不够,而是用错验收指标。第 4.4 节给出一组实测:mIoU 判定「预测 A 远好于 B」,PQ 与 AP@0.5 判定「B 远好于 A」——同两张图、同两个预测,结论完全反转。
1 · 三种 YYY 的形式化定义
1.1 定义与约束
语义分割:把标签写成 one-hot 张量 yuvc∈{ 0,1}y_{uvc}\in\{0,1\}yuvc∈{ 0,1},约束
∑cyuvc=1∀(u,v),Yuvsem=argmaxcyuvc\sum_c y_{uvc}=1\quad \forall (u,v),\qquad Y^{sem}_{uv}=\arg\max_c y_{uvc}c∑yuvc=1∀(u,v),Yuvsem=argcmaxyuvc
即全覆盖 + 互斥 + 每像素恰一个类。背景/void 也占一个类别 id。
实例分割:KKK 事先未知、顺序无意义,
Yins={ (ck, Mk, sk)}k=1K,Mk∈{ 0,1}H×W, ck∈{ 1..C}, sk∈[0,1]Y^{ins}=\{(c_k,\ M_k,\ s_k)\}_{k=1}^{K},\quad M_k\in\{0,1\}^{H\times W},\ c_k\in\{1..C\},\ s_k\in[0,1]Yins={(ck, Mk, sk)}k=1K,Mk∈{ 0,1}H×W, ck∈{ 1..C}, sk∈[0,1]
注意两条与语义分割相反的约束:∑kMk\sum_k M_k∑kMk 不要求等于 1(允许重叠,也允许大片未覆盖);ckc_kck 只对 thing 类(可数个体:牛、人、车)有意义,stuff 类(草地、天空、路面)根本不进这个集合。
全景分割:Yuvpan=(cuv,zuv)Y^{pan}_{uv}=(c_{uv},z_{uv})Yuvpan=(cuv,zuv),thing 类 zuv∈{ 1..K}z_{uv}\in\{1..K\}zuv∈{ 1..K} 且不同实例 id 不重叠,stuff 类 zuv=0z_{uv}=0zuv=0 且整类拼成一个区域。它是「语义的全覆盖互斥」与「实例的个体 id」的交集:
Ypan=全覆盖 + 无重叠⏟来自语义 + thing 带实例 id⏟来自实例Y^{pan} = \underbrace{\text{全覆盖 + 无重叠}}_{\text{来自语义}} \;+\; \underbrace{\text{thing 带实例 id}}_{\text{来自实例}}Ypan=来自语义 全覆盖 + 无重叠+来自实例 thing 带实例 id
1.2 为什么「实例 id」不能当类别回归:置换群 SKS_KSK
这是本篇最容易被忽略、却决定架构的一节。实例 id 是任意标签:把两头牛的 id 1↔2 交换,描述的是同一个物理世界。于是真值集合在对称群 SKS_KSK 下有 K!K!K! 个等价表示。
若把 inst_id 当作类别做逐像素交叉熵,等于强行给 GT 选了一个「规范序」,损失函数对 SKS_KSK 不不变——这就是 label switching。C 组实测(3 个实例、循环置换、正确类概率 0.9):
| 标注方式 | 逐像素实例 id CE |
|---|---|
| 顺序正确 | 0.105361 |
| id 循环置换后 | 3.401197(放大 32.282 倍) |
| 按最优排列重映射后 | 0.105361(完全恢复) |
正确的写法是把匹配写进损失里:
Lset=minπ∈SK∑k=1KLmatch(y^π(k), yk),Lmatch=−p^π(k)(ck)+λbce BCE(M^π(k),Mk)+λdice Ldice\mathcal L_{set}=\min_{\pi\in S_K}\sum_{k=1}^{K}\mathcal L_{match}\big(\hat y_{\pi(k)},\,y_k\big),\qquad \mathcal L_{match}= -\hat p_{\pi(k)}(c_k)+\lambda_{bce}\,\mathrm{BCE}(\hat M_{\pi(k)},M_k)+\lambda_{dice}\,\mathcal L_{dice}Lset=π∈SKmink=1∑KLmatch(y^π(k),yk),Lmatch=−p^π(k)(ck)+λbceBCE(M^π(k),Mk)+λdiceLdice
348



被折叠的 条评论
为什么被折叠?



