四个关键实测数字
| 指标 | 数值 |
|---|---|
| ORB 匹配净化链 precision | 0.5120 → 0.7862 → 0.9316 → 0.9843(最近邻 → ratio 0.9 → 0.8 → 0.7) |
| 回环闭合后 ATE | 0.1152 → 0.0552 m(2.09×),终点误差 0.2033 → 0.0243 m |
| 1 条错误回环的代价 | ATE 0.0552 → 0.6688 m(12.11×);Huber δ=0.5 压回 0.0562 m |
| 视差角 42.394° → 1.085° 时深度误差 | 0.1670% → 4.2528%(25.5×) |
0 · 导读:前端要交付的不是「位姿」,是「可被后端修正的位姿」
入门材料把视觉 SLAM 前端讲成「提取 ORB → 匹配 → 求位姿 → 三角化」四步,跑通一个 demo 就停了。但只要问下面五个问题,就会发现漏掉的是整条链路的可观测性:为什么这帧跟踪突然崩、为什么新建的地图点全是拖尾、为什么回环加上去轨迹反而更歪、为什么位姿图优化一步都不动、为什么 BoW 分数最高的不是真回环。
一句话心智模型:前端只做增量,它交付的是一串带噪声的相对位姿 Δk\Delta_kΔk 和一批带不确定度的地图点;这串增量靠连乘积分成轨迹,误差必然滚雪球。后端交付的是全局一致性——回环边提供唯一的新信息,位姿图优化只是把这份信息沿图扩散。 「位姿图优化能消漂移」是错的:能消漂移的是回环边,优化只是求解器。
0.1 四个模块与责任边界
| 模块 | 要回答的问题 | 产出 | 本文实验组 |
|---|---|---|---|
| ① 帧间匹配 | 两帧的哪些像素是同一个 3D 点? | 带置信度的对应集合 | A / B |
| ② 位姿与建图 | 由对应求 TcwT_{cw}Tcw,由 TcwT_{cw}Tcw 求新 3D 点 | 增量 Δk\Delta_kΔk、地图点 | B / C |
| ③ 漂移累积 | 增量积分的误差按什么规律长? | ATE / 终点误差 | D |
| ④ 回环与优化 | 哪两帧是同一地点?如何把闭合误差摊回全程? | 修正后的全局位姿 | E / F / G |
责任边界非常关键:①②③ 属于前端,④ 属于后端。标题把「前端」和「位姿图优化与回环」放在一起,是因为入门教程把两者放在同一天;严格说它们是两套不同的状态估计问题——前端是递推滤波 / 局部优化,后端是批量稀疏最小二乘。本文按端到端一条链走完,但在每一节的开头标清它属于哪一侧。
0.2 与既有几篇的分工(不重复推导)
| 已有篇目 | 已覆盖 | 本文的处理 |
|---|---|---|
camera-model-orb-deep-dive |
针孔投影链、KKK、畸变、ORB 四部件、汉明距离不变性 | 直接把 ORB 当黑盒用,重点在匹配管线而非描述子构造 |
two-view-geometry-deep-dive |
对极约束、E=[t]×RE=[t]_\times RE=[t]×R、八点法与 Hartley 归一化、四解手性、DLT 三角化、Z2Z^2Z2 定律 | 三角化只引用结论,重点在地图点准入门槛与生命周期 |
coordinate-rigid-transform-deep-dive / slam-pose-trajectory-deep-dive |
TabT_{ab}Tab 下标约定、SO(3)/SE(3)、漂移三定律、回环摊分边界 | 复用 TabT_{ab}Tab 与 exp/log\exp/\logexp/log,重点在把它们装进一个可跑的位姿图求解器 |
坐标约定沿用系列:TabT_{ab}Tab 表示「把 b 系坐标搬到 a 系」,pa=Tabpbp_a=T_{ab}p_bpa=Tabpb,Tac=TabTbcT_{ac}=T_{ab}T_{bc}Tac=TabTbc。相机位姿记为 TwcT_{wc}Twc(相机在世界系),外参 Tcw=Twc−1T_{cw}=T_{wc}^{-1}Tcw=Twc−1,投影 sp~=K [Rcw∣tcw] P~ws\tilde p = K\,[R_{cw}\mid t_{cw}]\,\tilde P_wsp~=K[Rcw∣tcw]P~w。
0.3 三条硬结论(全部由第 8 节脚本实跑验证)
- 匹配净化是「拿 recall 换 precision」的明码交易,ratio=0.8 是拐点。 真实 ORB 在合成纹理 + 已知单应下,最近邻 1500 个候选只有 768 个几何真阳(precision 0.5120)。ratio 0.9 / 0.8 / 0.7 依次把 precision 抬到 0.7862 / 0.9316 / 0.9843,同时把 recall 从 0.8763 压到 0.7630 / 0.6523。ratio 0.8 后接 RANSAC 得到 584 个内点,估计单应的四角误差最大仅 0.434 px。
- 位姿图本身不产生信息,回环边才是唯一信息源。 把前端的带噪增量原样做成 23 条里程计边时,初始目标函数 0.000000(每条边残差恒 0),GN 一步都不动、ATE 保持 0.1152 m。加上 1 条回环边后,目标从 9.9842 降到 0.8256(5 次迭代),ATE 0.1152 → 0.0552 m(2.09×),终点误差 0.2033 → 0.0243 m。
- 回环是最高杠杆、也最脆弱的一条边。 注入 1 条偏移 2 m 的错误回环,ATE 从 0.0552 恶化到 0.6688 m(12.11×);Huber δ=0.5 把它压回 0.0562 m(降 91.6%)。而 BoW 给出的真回环相似度只有 0.9871,最高非目标候选 0.9783,判别余量仅 0.0089;重复纹理(词表塌缩到 3 个词)下真回环得分 0.999990 甚至低于最高非目标 0.999995。几何验证不可省:真回环 PnP 内点率 0.9649,错误对应 0.0000。
0.4 口径与边界(先把话说在前面)
本文有四处不能外推的地方,正文会逐一回扣,这里先集中列出:
- A 组的「几何真值」由已知单应 + 4 px 容差定义,而 RANSAC 内点用 3 px 重投影阈值判定——两者同源,所以 A5 的 precision=1.0000 是定义性结果,不是独立验证。真正独立于真值的是 A6 的单应四角误差 0.434 px 与 A3 的 recall 变化。
- B 组外点是「均匀随机像素」,这是 RANSAC 最容易分离的情形。真实重复纹理造成的是结构化错配(错但彼此自洽),难度高得多;B1 的「60% 外点仍 8/8 成功」不应读作「RANSAC 不怕外点」。
- D 组轨迹是闭合圆,相机系里的常值偏差会被旋转调制,走满一圈周期性抵消,因此不呈现位姿篇的 N2N^2N2 定律(实测 log-log 指数 −0.497)。D3 用直线行程单独复现了 N2.090N^{2.090}N2.090,两者前提不同。
- 位姿图优化用真 SE(3) + 中心差分数值雅可比,不是 g2o/GTSAM 的解析 Jr\mathcal J_rJr。数值雅可比好核对、不易写错,但每条边每轮要 12 次残差计算,工程上不划算;本文的 24 节点 / 24 边规模下 5 次迭代完全够用。
交互 W1–W4 中,W1 / W2 使用第 8 节实跑数据表驱动;W3 的热力图与 W4 的求解器是降维教学等效模型(2D 位姿图),用于观察机制,其 ATE 数值不对应文中 F/G 组的 SE(3) 实跑结论,已在交互卡片内标注。
1 · ORB 帧间匹配:真正决定成败的是净化链,不是匹配算法
1.1 描述子相似度 ≠ 几何正确性
ORB 给每个关键点一个 256 bit 描述子,匹配就是找汉明距离最小的另一帧描述子。问题在于:汉明距离小只说明「局部图像块像」,不说明「是同一个 3D 点」。在合成纹理(320 个随机方块 + 70 个圆 + 45 条线段)上,实跑得到:
- 两帧各 1500 个描述子;最近邻产生 1500 个候选,其中按已知单应判定只有 768 个几何真阳,precision 0.5120——几乎一半候选是错的。
- 真匹配 / 错配的汉明距离中位数是 25.0 / 50.0,两个分布重叠,不存在一个能把它们干净分开的全局阈值。
所以前端真正的设计对象是三级净化链,每一级都在拿召回换纯度:
BF-NN → ratio test candidates → RANSAC inliers \text{BF-NN}\ \xrightarrow{\ \text{ratio test}\ }\ \text{candidates}\ \xrightarrow{\ \text{RANSAC}\ }\ \text{inliers} BF-NN ratio test candidates RANSAC inliers
即:最近邻 → ratio 净化 → 几何 RANSAC 内点集。
1.2 三级净化的实测量化
ratio test 保留满足 dnn<τ d2ndd_{\text{nn}} < \tau\, d_{\text{2nd}}dnn<τd2nd 的匹配(dnnd_{\text{nn}}dnn、d2ndd_{\text{2nd}}d2nd 为最近 / 次近汉明距离)。它挡掉的是「这块纹理在哪都长一样」的歧义匹配——如果同一个查询点有两个差不多像的候选,说明描述子没有判别力。
| 阶段 | 保留数 | precision | recall | 汉明中位 |
|---|---|---|---|---|
| BF 最近邻(τ=1\tau=1τ=1) | 1500 | 0.5120 | 1.0000 | — |
| crossCheck 双向一致 | 751 | 0.8748 | 0.8555 | — |
| ratio τ=0.90\tau=0.90τ=0.90 | 856 | 0.7862 | 0.8763 | 26.0 |
| ratio τ=0.80\tau=0.80τ=0.80 | 629 | 0.9316 | 0.7630 | 22.0 |
| ratio τ=0.70\tau=0.70τ=0.70 | 509 | 0.9843 | 0.6523 | 21.0 |
| ratio 0.80 + RANSAC 内点 | 584 | 1.0000* | 0.7604 | — |
* 见 §0.4:与几何真值同源,属定义性结果。A8 给出 0.60–1.00 每 0.05 一档的完整扫描表,供交互 W1 使用;其中 τ=0.60\tau=0.60τ=0.60 时 precision 0.9900 但 recall 只剩 0.5182,过严的 ratio 会把弱纹理真匹配一起杀掉。
为什么 0.8 是拐点:从 0.80 收紧到 0.70,precision 只涨 0.0527(0.9316 → 0.9843),recall 却掉 0.1107(0.7630 → 0.6523)。而从 0.90 收紧到 0.80,precision 涨 0.1454、recall 只掉 0.1133。收益/代价比在 0.8 之后迅速反转。工程上 ORB-SLAM 系列取 0.7–0.8 并配 RANSAC,正是这个权衡。
1.3 crossCheck 与 ratio 不是替代关系
实跑:crossCheck 保留 751 个、precision 0.8748、recall 0.8555;ratio 0.8 保留 629 个、precision 0.9316、recall 0.7630。crossCheck 召回更高、纯度更低,两者判据不同(一个查「双向最优」,一个查「差距够大」),串联使用才能把误匹配压到最低。常见错误是把 BFMatcher.match() 当 crossCheck 用——那只是单向最近邻,必须显式 BFMatcher(NORM_HAMMING, crossCheck=True)。
1.4 RANSAC 的位置与口径
RANSAC 在 ratio 之后、PnP / 求 HHH / 求 EEE 之前,作用是给几何估计一个不被错配污染的最小集。实跑中 ratio 0.8 的 629 个候选经 findHomography(..., RANSAC, 3.0) 得到 584 个内点,估计单应与真值单应在四角的误差最大 0.434 px、平均 0.225 px。这才是独立于「内点标签」的验证:即使内点判据与真值同源,由内点解出的模型与真模型的偏差仍是独立量。
工程提醒:RANSAC 的阈值(本文 3 px)必须与定位噪声匹配。阈值太小会把真内点判成外点,太大则让错配混进来;σ=1\sigma=1σ=1 px 的高斯噪声下取 3 px 约是 3σ3\sigma3σ,是常用起点。
1.5 匹配层的失败模式清单
| 症状 | 机理 | 可测量判据 | 动作 |
|---|---|---|---|
| 内点数够但位姿抖 | 匹配集中在图像一小块(角点扎堆) | 内点包围盒面积 / 图像面积 | 网格化分块提点,每格限个 |
| 纯旋转时三角化全废 | 基线为零,视差不随深度变化 | 中位视差角 < 1° | 不建新点,只做旋转跟踪 |
| 重复纹理误匹配成片 | 描述子不具判别力,ratio 分布右移 | ratio<0.8 的比例骤降 | 提高时间一致性约束、加几何验证 |
| 光照/曝光突变全丢 | ORB 基于灰度序,FAST 阈值失效 | 提点数同比跌幅 | 降 fastThreshold、开 CLAHE |
2 · 从匹配到位姿:PnP、RANSAC 与关键帧
2.1 初始化 2D-2D,跟踪 3D-2D
两帧都没有地图时用 2D-2D(EEE / HHH,见 two-view-geometry-deep-dive)恢复相对位姿并三角化出第一批地图点;一旦有了 3D 地图点,就切到 3D-2D PnP:
minRcw, tcw ∑iρ(∥pi−π(K(RcwPi+tcw))∥2),π(x,y,z)=(x/z, y/z) \min_{R_{cw},\,t_{cw}}\ \sum_i \rho\Big(\big\| p_i - \pi\big(K(R_{cw}P_i + t_{cw})\big)\big\|^2\Big), \qquad \pi(x,y,z)=(x/z,\ y/z) Rcw,tcwmin i∑ρ( pi−π(K(RcwPi+tcw)) 2),π(x,y,z)=(x/z, y/z)
PnP 比 2D-2D 稳,是因为它不再需要从像素里同时解位姿和深度——深度已经由地图点给出,未知量只剩 6 个。这也是「为什么要维护地图」的答案:地图是把深度不确定性从每一帧里挪出去的载体。
2.2 最小配置与点数退化(B3)
sp~=K[R∣t]P~s\tilde p = K[R|t]\tilde Psp~=K[R∣t]P~ 每个对应给 2 个约束,[R∣t][R|t][R∣t] 有 6 个自由度,理论最少 3 点(P3P 给最多 4 组解,需第 4 点消歧);DLT / EPnP 类求解器要求 ≥6 / ≥4 点。实跑在 σ=1\sigma=1σ=1 px、0 外点、每档 10 次取中位数:
| 观测点数 nnn | 4 | 6 | 10 | 20 | 40 |
|---|---|---|---|---|---|
| RRR 误差中位(°) | 1.28890 | 0.26799 | 0.15169 | 0.15009 | 0.09634 |
4 点比 6 点差 4.8×,6→10 又降 1.8×,20→40 只降 1.6×。点数收益在 10 点附近饱和:跟踪时若可用点数掉到个位数,位姿噪声会迅速放大,此时该做的是触发关键帧 / 重定位,而不是继续硬解。
2.3 外点率实测与外点模型边界(B1)
在 101 个可见路标(Z∈[1.40,15.42]Z\in[1.40,15.42]Z∈[1.40,15.42] m)上注入 σ=1\sigma=1σ=1 px 噪声,并把指定比例的观测替换为均匀随机像素,每档 8 次取中位数:
| 外点率 | 成功率 | RRR 误差中位(°) | ttt 误差中位(m) | RANSAC 内点 |
|---|---|---|---|---|
| 0% | 8/8 | 0.0546 | 0.00358 | 94 |
| 20% | 8/8 | 0.0558 | 0.00385 | 76 |
| 40% | 8/8 | 0.0452 | 0.00353 | 59 |
| 60% | 8/8 | 0.0733 | 0.00822 | 38 |
到 60% 外点,ttt 误差才从 0.0036 m 翻到 0.0082 m(2.3×)——这个结果必须打折读:均匀随机像素几乎不可能与 3D 点自洽,RANSAC 极易分离。真实挑战是重复纹理带来的「错但自洽」的结构化错配,以及动态物体上的成片外点。工程里应把 RANSAC 内点率(本实验 0%、20%、40%、60% 对应 94/101、76/101、59/101、38/101)作为跟踪健康度指标,而不是只看求解是否成功。
2.4 关键帧准入:四个可测量判据
关键帧不是「每隔 N 帧取一帧」,而是「这一帧相对上一个关键帧,是否带来了足够的新观测」。四个可在线计算的量:
- 中位视差(旋转补偿后):太小说明还没走够,三角化不可靠;太大说明中间帧跟丢了。
- 跟踪内点率 / 内点数:低于阈值(如内点 < 20 或比例 < 0.5)立即插关键帧。
- 旋转角 / 平移量:纯旋转不建点,只记录朝向。
- 时间间隔下限:防止静止时因噪声反复插帧。
关键帧决定位姿图的节点密度,也决定回环检索的候选规模。本文 F 组的 24 个节点就是按「每帧一个关键帧」的固定节奏建的,实跑单帧平均可见 107.7 / 220 个地图点。
3 · 三角化建图与地图点生命周期
3.1 接回 Day 4:这里不再推 DLT
由两帧位姿与一对匹配像素求 3D 点,是解 AX=0A X = 0AX=0(AAA 为 4×44\times44×4,每帧贡献两行反对称投影约束),取最小奇异值对应的右奇异向量再齐次归一化。Day 4 已经把 EEE 分解、手性检查、σZ=Z2σd/(fB)\sigma_Z = Z^2\sigma_d/(fB)σZ=Z2σd/(fB) 与内参 1% 偏差导致深度 +1.0000% 全部推过并实跑验证,本文直接引用。
前端真正要补的是另一个问题:不是「怎么算这个点」,而是「这个点该不该进地图」。三角化对任何一对像素都能给出一个交点,包括纯旋转、极远点、错配——但那些点会在后续帧里投出巨大残差,污染 PnP 与 BA。
3.2 视差角:唯一可在线计算的质量代理
设两帧光心 C1,C2C_1,C_2C1,C2,两条单位视线 r^1,r^2\hat r_1,\hat r_2r^1,r^2,视差角
α=arccos(r^1Tr^2),σZ≈Z2fB σd ∝ Zσdsinα \alpha=\arccos(\hat r_1^{\mathsf T}\hat r_2),\qquad \sigma_Z \approx \frac{Z^2}{fB}\,\sigma_d \ \propto\ \frac{Z\sigma_d}{\sin\alpha} α=arccos(r^1Tr^2),σZ≈fBZ2σd ∝ sinαZσd
其中小角度下有效基线 B⊥∝ZsinαB_\perp\propto Z\sin\alphaB⊥∝Zsinα。
α\alphaα 不依赖深度真值、不依赖地图、不依赖优化结果,只要两帧位姿和像素就能算,因此是唯一能在建图那一刻就用的质量判据。α→0\alpha\to 0α→0 时两条射线近平行,交点对像素噪声极度敏感。
3.3 距离扫描实测(C1/C2)
在相邻帧(基线 1.5663 m,圆心角 15°)的视锥内撒 150 条射线,沿每条射线把 3D 点放在 Z=2…80Z=2\ldots80Z=2…80 m,两帧投影各加 σ=0.5\sigma=0.5σ=0.5 px 噪声后三角化:
| 距离 ZZZ (m) | 视差角中位(°) | 相对深度误差中位 | p90 | 点数 |
|---|---|---|---|---|
| 2.0 | 42.394 | 0.1670% | 0.3295% | 150 |
| 5.0 | 17.878 | 0.3060% | 0.6084% | 150 |
| 10.0 | 8.749 | 0.5187% | 1.4673% | 150 |
| 20.0 | 4.331 | 1.0849% | 2.4727% | 150 |
| 40.0 | 2.168 | 2.3815% | 5.0085% | 150 |
| 80.0 | 1.085 | 4.2528% | 9.8327% | 150 |
距离 40×,误差 25.5×(0.1670% → 4.2528%),与 σZ∝Z2/(fB⊥)\sigma_Z\propto Z^2/(fB_\perp)
859



被折叠的 条评论
为什么被折叠?



