四个关键实测数字
| 指标 | 数值 |
|---|---|
| σ=2\sigma=2σ=2 px 时 Hartley 归一化把 EEE 相对误差从 0.30090.30090.3009 压到 | 0.03590.03590.0359(8.4×),ttt 方向误差 17.85∘→1.99∘17.85^\circ\to1.99^\circ17.85∘→1.99∘ |
| EEE 分解四组 (R,t)(R,t)(R,t) 中通过手性检查的解 | 唯一 1 组,双正深度点 50 / 50(其余 3 组均为 0 / 50) |
| fxf_xfx 偏大 1% 造成的深度系统偏差(纯平移) | +1.0000%+1.0000\%+1.0000%,与闭式 Z=fB/dZ=fB/dZ=fB/d 严格吻合;残差完全看不出来 |
| ZZZ 从 5 m → 40 m 时 σZ\sigma_ZσZ 实测放大 | 67.9×(Z2Z^2Z2 定律预言 64×) |
0 · 导读:两帧到底能恢复什么
入门材料讲到「用 findEssentialMat 求出 EEE,再 recoverPose 得到 R,tR,tR,t,triangulatePoints 出点云」就停了。这对跑通一个 demo 够用,但一旦要解释「为什么这一帧深度全错」「为什么原地转一下就崩」「为什么单目 SLAM 的轨迹尺度会飘」,就会撞上五个被跳过的层次:约束从哪来、EEE 为什么只有 5 个自由度、八点法为什么要先归一化、四组位姿解怎么选、深度误差按什么规律放大。
一句话心智模型: 单帧的 K−1p~K^{-1}\tilde pK−1p~ 给出过光心的一条射线;两帧给出两条射线,对极约束负责把「这两条射线是否可能相交」写成一条代数式,三角化负责求出交点。EEE 描述的是两帧之间的相对位姿,不是点的位置;它把二维匹配搜索压成一维极线搜索,顺带把「深度」这件事从不可能变成可能。
本文的三条硬结论(全部由第 7 节脚本实跑验证)
- 对极约束是「三向量共面」的代数写法,E=[t]×RE=[t]_\times RE=[t]×R 只有 5 个自由度且秩为 2。 真值场景下 ∣x2TEx1∣max=1.561×10−16|x_2^\mathsf{T} E x_1|_{\max}=1.561\times10^{-16}∣x2TEx1∣max=1.561×10−16,EEE 的奇异值严格为 [0.7071, 0.7071, 0][0.7071,\ 0.7071,\ 0][0.7071, 0.7071, 0],内在约束残差 1.147×10−161.147\times10^{-16}1.147×10−16。八点法在无噪声时是精确解(FFF 误差 3.547×10−163.547\times10^{-16}3.547×10−16),但它的数值稳定性完全依赖 Hartley 归一化:未归一化时 AAA 矩阵的 σ1/σ8=1.302×105\sigma_1/\sigma_8=1.302\times10^5σ1/σ8=1.302×105,归一化后降到 41.841.841.8;σ=2\sigma=2σ=2 px 噪声下 EEE 相对误差从 0.30090.30090.3009 降到 0.03590.03590.0359。
- EEE 分解出 4 组 (R,±t)(R,\pm t)(R,±t),手性检查唯一确定一组;但 ttt 只有方向、没有模长。 实测四组中只有一组让 50 / 50 个点在两个相机里都是正深度,其余三组 0 / 50。同一批像素观测下把 ∣t∣|t|∣t∣ 取 0.1/1/100.1/1/100.1/1/10,三角化深度变成 1.2298/12.2976/122.97601.2298/12.2976/122.97601.2298/12.2976/122.9760,而首帧重投影误差始终是 1.76×10−111.76\times10^{-11}1.76×10−11 px、对极残差始终是 1.006×10−161.006\times10^{-16}1.006×10−16 —— 图像本身无法分辨这三种世界。
- 深度误差按 Z2Z^2Z2 放大,σZ=Z2σd/(fB)\sigma_Z=Z^2\sigma_d/(fB)σZ=Z2σd/(fB)。 实测 σd=0.5\sigma_d=0.5σd=0.5 px、B=0.35B=0.35B=0.35 m、f=500f=500f=500 px 时,Z=5Z=5Z=5 m 的 σZ=0.0711\sigma_Z=0.0711σZ=0.0711 m(解析 0.07140.07140.0714 m),Z=40Z=40Z=40 m 时 σZ=4.7751\sigma_Z=4.7751σZ=4.7751 m(解析 4.57144.57144.5714 m);距离 8 倍,误差 67.9 倍。基线从 0.050.050.05 m 加到 1.401.401.40 m,相对深度误差从 10.073%10.073\%10.073% 降到 0.347%0.347\%0.347%(29×)。
与已有几篇的分工:
camera-model-orb-deep-dive(Day 3)把单帧投影链写到 K−1p~K^{-1}\tilde pK−1p~ 这条射线为止,明确把「本质矩阵 E=t×RE=t_\times RE=t×R、八点法、三角化、PnP、RANSAC」留给本文;coordinate-rigid-transform-deep-dive与slam-pose-trajectory-deep-dive给出 TabT_{ab}Tab 约定与 SO(3)/SE(3) 工具;camera-multiview-deep-dive/stereo-vision-deep-dive讲固定基线的双目系统与视差工程。本文只处理两个自由位姿的视图:约束、求解、位姿恢复、深度恢复与误差预算。
1 · 对极几何:从「共面」到 x2TEx1=0x_2^\mathsf{T} E x_1 = 0x2TEx1=0
1.1 先把下标方向钉死(最容易错的一节)
沿用系列约定:TabT_{ab}Tab 把 b 系坐标变到 a 系坐标。设第一帧相机系为参考系,第二帧相对第一帧的变换为 (R,t)≡(Rc2c1,tc2c1)(R,t)\equiv(R_{c_2c_1},t_{c_2c_1})(R,t)≡(Rc2c1,tc2c1):
Xc2=R Xc1+t,P1=K[I∣0],P2=K[R∣t] X_{c_2}=R\,X_{c_1}+t,\qquad P_1=K[I\mid 0],\quad P_2=K[R\mid t] Xc2=RXc1+t,P1=K[I∣0],P2=K[R∣t]
注意 ttt 不是「第二相机在世界里的位置」,而是把第一帧的点搬进第二帧坐标系的平移向量;t=0t=0t=0 意味着两光心重合。这个方向搞反,EEE 的符号、分解出的 ttt、以及后续所有位姿都会整体反向。
归一化平面坐标(去掉内参、只留方向):
x1∝K−1p~1,x2∝K−1p~2 x_1\propto K^{-1}\tilde p_1,\qquad x_2\propto K^{-1}\tilde p_2 x1∝K−1p~1,x2∝K−1p~2
其中 ∝\propto∝ 表示齐次等价。设 Xc1=λ1x1X_{c_1}=\lambda_1 x_1Xc1=λ1x1(λ1=Zc1>0\lambda_1=Z_{c_1}>0λ1=Zc1>0 是深度),则
Xc2=λ1Rx1+t X_{c_2}=\lambda_1 R x_1+t Xc2=λ1Rx1+t
1.2 共面推导:E=[t]×RE=[t]_\times RE=[t]×R
三个向量 ttt、Rx1R x_1Rx1、Xc2X_{c_2}Xc2 张成的体积为零(因为 Xc2=λ1Rx1+tX_{c_2}=\lambda_1 Rx_1+tXc2=λ1Rx1+t 是前两者的线性组合)。混合积写成行列式:
x2T [t]×R x1=0,[t]×=[0−tztytz0−tx−tytx0] x_2^\mathsf{T}\,[t]_\times R\,x_1=0,\qquad [t]_\times=\begin{bmatrix}0&-t_z&t_y\\ t_z&0&-t_x\\ -t_y&t_x&0\end{bmatrix} x2T[t]×Rx1=0,[t]×= 0tz−ty−tz0txty−tx0
另一条更直接的验证:对 Xc2=λ1Rx1+tX_{c_2}=\lambda_1Rx_1+tXc2=λ1Rx1+t 左乘 [t]×[t]_\times[t]×,利用 [t]×t=0[t]_\times t=0[t]×t=0 得 [t]×Xc2=λ1[t]×Rx1=λ1Ex1[t]_\times X_{c_2}=\lambda_1[t]_\times Rx_1=\lambda_1 E x_1[t]×Xc2=λ1[t]×Rx1=λ1Ex1;而 [t]×Xc2[t]_\times X_{c_2}[t]×Xc2 与 Xc2X_{c_2}Xc2 正交,故 x2TEx1=0x_2^\mathsf{T}Ex_1=0x2TEx1=0。
E=[t]×R,x2TEx1=0 \boxed{\;E=[t]_\times R,\qquad x_2^\mathsf{T}Ex_1=0\;} E=[t]×R,x2TEx1=0
脚本 A2 组把这条式子代进 200 个合成点,残差最大 1.561×10−161.561\times10^{-16}1.561×10−16(机器精度)。这条式子不含任何点坐标以外的量:它只约束「两帧的相对位姿」与「一对匹配点的方向」,与点的深度无关。
1.3 EEE 的内在约束与 5 个自由度
EEE 是 3×33\times33×3 齐次矩阵(整体尺度无意义),看似 9−1=89-1=89−1=8 个自由度,但:
| 约束 | 来源 | 减少的自由度 |
|---|---|---|
| detE=0\det E=0detE=0(秩 2) | [t]×[t]_\times[t]× 有零空间 ttt | 1 |
| 两个非零奇异值相等 | [t]×R[t]_\times R[t]×R 的代数结构 | 2 |
合计只剩 5 个自由度:旋转 3 + 平移方向 2。平移模长丢掉了 —— 这正是尺度歧义的根源。EEE 还必须满足内在约束(tracial constraint):
2 EETE−tr(EET) E=0 2\,E E^\mathsf{T} E-\operatorname{tr}(E E^\mathsf{T})\,E=0 2EETE−tr(EET)E=0
实测残差 1.147×10−161.147\times10^{-16}1.147×10−16。奇异值实测 [0.7071,0.7071,0][0.7071,0.7071,0][0.7071,0.7071,0](Frobenius 归一化后),detE=−1.03×10−19\det E=-1.03\times10^{-19}detE=
310



被折叠的 条评论
为什么被折叠?



