两视图几何与对极约束深度解析:本质矩阵 / 三角化 / 从两帧恢复深度

双视图几何:从对极约束到三维重建的工程实践 在计算机视觉领域,从二维图像中恢复三维场景结构是一个核心问题,其基础在于理解多视图之间的几何关系。双视图几何,特别是对极几何,通过分析同一场景在两个不同视角下的投影,建立了像素点之间的数学约束。这一原理通过本质矩阵和基础矩阵进行数学表达,是运动恢复结构(SfM)和视觉SLAM等技术的理论基石。其技术价值在于,仅需图像对应点,即可无需先验知识地估计相机运动和场景稀疏三维结构,解决了单目视觉中的尺度不确定性问题。在自动驾驶、机器人导航和三维重建等应用场景中,鲁棒地处理特征匹配外点、数值稳定性等工程挑战至关重要。 阅读详情

四个关键实测数字

指标 数值
σ=2\sigma=2σ=2 px 时 Hartley 归一化把 EEE 相对误差从 0.30090.30090.3009 压到 0.03590.03590.0359(8.4×),ttt 方向误差 17.85∘→1.99∘17.85^\circ\to1.99^\circ17.85∘→1.99∘
EEE 分解四组 (R,t)(R,t)(R,t) 中通过手性检查的解 唯一 1 组,双正深度点 50 / 50(其余 3 组均为 0 / 50)
fxf_xfx​ 偏大 1% 造成的深度系统偏差(纯平移) +1.0000%+1.0000\%+1.0000%,与闭式 Z=fB/dZ=fB/dZ=fB/d 严格吻合;残差完全看不出来
ZZZ 从 5 m → 40 m 时 σZ\sigma_ZσZ​ 实测放大 67.9×(Z2Z^2Z2 定律预言 64×)

0 · 导读:两帧到底能恢复什么

入门材料讲到「用 findEssentialMat 求出 EEE,再 recoverPose 得到 R,tR,tR,t,triangulatePoints 出点云」就停了。这对跑通一个 demo 够用,但一旦要解释「为什么这一帧深度全错」「为什么原地转一下就崩」「为什么单目 SLAM 的轨迹尺度会飘」,就会撞上五个被跳过的层次:约束从哪来、EEE 为什么只有 5 个自由度、八点法为什么要先归一化、四组位姿解怎么选、深度误差按什么规律放大。

一句话心智模型: 单帧的 K−1p~K^{-1}\tilde pK−1p~​ 给出过光心的一条射线;两帧给出两条射线,对极约束负责把「这两条射线是否可能相交」写成一条代数式,三角化负责求出交点。EEE 描述的是两帧之间的相对位姿,不是点的位置;它把二维匹配搜索压成一维极线搜索,顺带把「深度」这件事从不可能变成可能。

本文的三条硬结论(全部由第 7 节脚本实跑验证)

  1. 对极约束是「三向量共面」的代数写法,E=[t]×RE=[t]_\times RE=[t]×​R 只有 5 个自由度且秩为 2。 真值场景下 ∣x2TEx1∣max⁡=1.561×10−16|x_2^\mathsf{T} E x_1|_{\max}=1.561\times10^{-16}∣x2T​Ex1​∣max​=1.561×10−16,EEE 的奇异值严格为 [0.7071, 0.7071, 0][0.7071,\ 0.7071,\ 0][0.7071, 0.7071, 0],内在约束残差 1.147×10−161.147\times10^{-16}1.147×10−16。八点法在无噪声时是精确解(FFF 误差 3.547×10−163.547\times10^{-16}3.547×10−16),但它的数值稳定性完全依赖 Hartley 归一化:未归一化时 AAA 矩阵的 σ1/σ8=1.302×105\sigma_1/\sigma_8=1.302\times10^5σ1​/σ8​=1.302×105,归一化后降到 41.841.841.8;σ=2\sigma=2σ=2 px 噪声下 EEE 相对误差从 0.30090.30090.3009 降到 0.03590.03590.0359。
  2. EEE 分解出 4 组 (R,±t)(R,\pm t)(R,±t),手性检查唯一确定一组;但 ttt 只有方向、没有模长。 实测四组中只有一组让 50 / 50 个点在两个相机里都是正深度,其余三组 0 / 50。同一批像素观测下把 ∣t∣|t|∣t∣ 取 0.1/1/100.1/1/100.1/1/10,三角化深度变成 1.2298/12.2976/122.97601.2298/12.2976/122.97601.2298/12.2976/122.9760,而首帧重投影误差始终是 1.76×10−111.76\times10^{-11}1.76×10−11 px、对极残差始终是 1.006×10−161.006\times10^{-16}1.006×10−16 —— 图像本身无法分辨这三种世界。
  3. 深度误差按 Z2Z^2Z2 放大,σZ=Z2σd/(fB)\sigma_Z=Z^2\sigma_d/(fB)σZ​=Z2σd​/(fB)。 实测 σd=0.5\sigma_d=0.5σd​=0.5 px、B=0.35B=0.35B=0.35 m、f=500f=500f=500 px 时,Z=5Z=5Z=5 m 的 σZ=0.0711\sigma_Z=0.0711σZ​=0.0711 m(解析 0.07140.07140.0714 m),Z=40Z=40Z=40 m 时 σZ=4.7751\sigma_Z=4.7751σZ​=4.7751 m(解析 4.57144.57144.5714 m);距离 8 倍,误差 67.9 倍。基线从 0.050.050.05 m 加到 1.401.401.40 m,相对深度误差从 10.073%10.073\%10.073% 降到 0.347%0.347\%0.347%(29×)。

与已有几篇的分工: camera-model-orb-deep-dive(Day 3)把单帧投影链写到 K−1p~K^{-1}\tilde pK−1p~​ 这条射线为止,明确把「本质矩阵 E=t×RE=t_\times RE=t×​R、八点法、三角化、PnP、RANSAC」留给本文;coordinate-rigid-transform-deep-dive 与 slam-pose-trajectory-deep-dive 给出 TabT_{ab}Tab​ 约定与 SO(3)/SE(3) 工具;camera-multiview-deep-dive / stereo-vision-deep-dive 讲固定基线的双目系统与视差工程。本文只处理两个自由位姿的视图:约束、求解、位姿恢复、深度恢复与误差预算。


1 · 对极几何:从「共面」到 x2TEx1=0x_2^\mathsf{T} E x_1 = 0x2T​Ex1​=0

1.1 先把下标方向钉死(最容易错的一节)

沿用系列约定:TabT_{ab}Tab​ 把 b 系坐标变到 a 系坐标。设第一帧相机系为参考系,第二帧相对第一帧的变换为 (R,t)≡(Rc2c1,tc2c1)(R,t)\equiv(R_{c_2c_1},t_{c_2c_1})(R,t)≡(Rc2​c1​​,tc2​c1​​):

Xc2=R Xc1+t,P1=K[I∣0],P2=K[R∣t] X_{c_2}=R\,X_{c_1}+t,\qquad P_1=K[I\mid 0],\quad P_2=K[R\mid t] Xc2​​=RXc1​​+t,P1​=K[I∣0],P2​=K[R∣t]

注意 ttt 不是「第二相机在世界里的位置」,而是把第一帧的点搬进第二帧坐标系的平移向量;t=0t=0t=0 意味着两光心重合。这个方向搞反,EEE 的符号、分解出的 ttt、以及后续所有位姿都会整体反向。

归一化平面坐标(去掉内参、只留方向):

x1∝K−1p~1,x2∝K−1p~2 x_1\propto K^{-1}\tilde p_1,\qquad x_2\propto K^{-1}\tilde p_2 x1​∝K−1p~​1​,x2​∝K−1p~​2​

其中 ∝\propto∝ 表示齐次等价。设 Xc1=λ1x1X_{c_1}=\lambda_1 x_1Xc1​​=λ1​x1​(λ1=Zc1>0\lambda_1=Z_{c_1}>0λ1​=Zc1​​>0 是深度),则

Xc2=λ1Rx1+t X_{c_2}=\lambda_1 R x_1+t Xc2​​=λ1​Rx1​+t

1.2 共面推导:E=[t]×RE=[t]_\times RE=[t]×​R

三个向量 ttt、Rx1R x_1Rx1​、Xc2X_{c_2}Xc2​​ 张成的体积为零(因为 Xc2=λ1Rx1+tX_{c_2}=\lambda_1 Rx_1+tXc2​​=λ1​Rx1​+t 是前两者的线性组合)。混合积写成行列式:

x2T [t]×R x1=0,[t]×=[0−tztytz0−tx−tytx0] x_2^\mathsf{T}\,[t]_\times R\,x_1=0,\qquad [t]_\times=\begin{bmatrix}0&-t_z&t_y\\ t_z&0&-t_x\\ -t_y&t_x&0\end{bmatrix} x2T​[t]×​Rx1​=0,[t]×​= ​0tz​−ty​​−tz​0tx​​ty​−tx​0​ ​

另一条更直接的验证:对 Xc2=λ1Rx1+tX_{c_2}=\lambda_1Rx_1+tXc2​​=λ1​Rx1​+t 左乘 [t]×[t]_\times[t]×​,利用 [t]×t=0[t]_\times t=0[t]×​t=0 得 [t]×Xc2=λ1[t]×Rx1=λ1Ex1[t]_\times X_{c_2}=\lambda_1[t]_\times Rx_1=\lambda_1 E x_1[t]×​Xc2​​=λ1​[t]×​Rx1​=λ1​Ex1​;而 [t]×Xc2[t]_\times X_{c_2}[t]×​Xc2​​ 与 Xc2X_{c_2}Xc2​​ 正交,故 x2TEx1=0x_2^\mathsf{T}Ex_1=0x2T​Ex1​=0。

  E=[t]×R,x2TEx1=0   \boxed{\;E=[t]_\times R,\qquad x_2^\mathsf{T}Ex_1=0\;} E=[t]×​R,x2T​Ex1​=0​

脚本 A2 组把这条式子代进 200 个合成点,残差最大 1.561×10−161.561\times10^{-16}1.561×10−16(机器精度)。这条式子不含任何点坐标以外的量:它只约束「两帧的相对位姿」与「一对匹配点的方向」,与点的深度无关。

1.3 EEE 的内在约束与 5 个自由度

EEE 是 3×33\times33×3 齐次矩阵(整体尺度无意义),看似 9−1=89-1=89−1=8 个自由度,但:

约束 来源 减少的自由度
det⁡E=0\det E=0detE=0(秩 2) [t]×[t]_\times[t]×​ 有零空间 ttt 1
两个非零奇异值相等 [t]×R[t]_\times R[t]×​R 的代数结构 2

合计只剩 5 个自由度:旋转 3 + 平移方向 2。平移模长丢掉了 —— 这正是尺度歧义的根源。EEE 还必须满足内在约束(tracial constraint):

2 EETE−tr⁡(EET) E=0 2\,E E^\mathsf{T} E-\operatorname{tr}(E E^\mathsf{T})\,E=0 2EETE−tr(EET)E=0

实测残差 1.147×10−161.147\times10^{-16}1.147×10−16。奇异值实测 [0.7071,0.7071,0][0.7071,0.7071,0][0.7071,0.7071,0](Frobenius 归一化后),det⁡E=−1.03×10−19\det E=-1.03\times10^{-19}detE=

教你一点点掌握视觉三维重建-colmap 重要代码逐行解析(大纲-预热阶段) 教你一点点掌握视觉三维重建-colmap 重要代码逐行解析 这里以colmap 框架为准,主要对其重要环节代码结合自己的想法进行逐一讲解,colmap 作为目前state-of-the-art 的视觉重建pipeline,本人将其代码分为两个大环节:前端和后端.前端主要是特征提取和匹配,后端包括三角化,Register,BA等环节. 完成时间deadline:12月底;这里以博客为证,如果您感觉到这份博客帮助到您,希望给予鼓励,我也会利用周末及其下班时间尽快完成整个文章的撰写 -欢迎关注B站:橙子的R 阅读详情

相关推荐

三角化的非线性优化:重投影误差与LM迭代的精化方法

从多视图几何中的基础问题切入,三维点的精确估计通常被建模为最小二乘问题。然而,直接线性变换(DLT)仅优化代数误差,在噪声和位姿偏差下容易产生病态解。真正符合几何意义的重投影误差使得三角化必须采用非线性优化求解。通过高斯牛顿或LM(列文伯格-马夸尔特)迭代,结合逆深度参数化与鲁棒核函数,可显著提升远点、退化配置下的数值稳定性。这一技术在视觉SLAM、增量式SFM与自动驾驶多视图重建中具有核心价值。本文以单点三角化为例,系统讲解误差建模、雅可比推导、初始化策略及工程实现细节,并给出应对短基线、外点干扰的实用技

weixin_33462927的博客 310

用OpenCV实现2D转3D:从像素坐标到点云重建的数学原理与实战

计算机视觉与图形学中,从二维图像恢复三维结构始终是核心命题。其本质并非生成式魔法,而是求解投影方程的逆过程:借助针孔相机模型,通过特征匹配、本质矩阵分解与三角化,从像素坐标反推空间坐标与深度信息。这一原理支撑着三维重建、SLAM、自动驾驶感知等众多工程技术。对理工科学生和入门开发者而言,结合相机标定与OpenCV,从多视图照片重建出点云,是理解逆几何的最佳实践。沿着这条路径,解析相机内参、位姿估计与三角化等关键步骤,并分享实际操作中的常见问题与排查技巧,能够帮助读者真正掌握“2D转3D”的数学本质与工程落地

weixin_29056865的博客 278

ORB-SLAM3 bool Pinhole::ReconstructWithTwoViews(...)

是单目初始化的关键入口,它封装了复杂的多视图几何计算,使得调用者只需提供特征匹配即可获得位姿和三维点。理解该函数需要掌握对极几何、本质矩阵/单应矩阵估计与分解、三角化以及 RANSAC 鲁棒估计等核心概念。该函数的设计体现了 ORB-SLAM3 代码的模块化和重用性。

qq_43002259的博客 18

OpenCV多视角三维重建:从几何约束到稠密点云与表面优化

三维重建是计算机视觉的核心任务之一,其基础在于多视角几何约束——通过多幅图像之间的对应关系恢复三维结构。特征匹配与本质矩阵分解实现了相机位姿估计,为后续立体匹配奠定基础。OpenCV提供完整的工具链,从SGBM立体匹配生成视差图,到三角化生成稠密点云,再到结合Open3D进行泊松表面重建,可构建完整的三维重建Pipeline。该技术广泛应用于自动驾驶、文物数字化、工业检测等领域。本文从对极几何原理出发,剖析标定误差传导、稠密点云伪影清洗、表面优化设计等工程痛点,并给出可运行的代码与参数调优技巧,帮助开发者快

weixin_33158887的博客 247

基于OpenCV与Python的单目三维重建:两张照片还原三维点云

计算机视觉中,从二维图像恢复三维结构是长期挑战。单目相机虽丢失深度信息,但借助多视角几何原理,通过不同视角间的视差可反推深度。传统几何方法无需深度相机,仅凭普通照片就能完成三维重建,且具有可解释性强、无需GPU等优势,广泛应用于机器人导航、增强现实、工业测量等领域。以Python与OpenCV实现的单目三维重建项目为例,完整解析从相机标定、SIFT特征匹配到三角化的技术链路,展示如何用两张照片还原带真实尺度的三维点云,并总结工程实践中的常见避坑经验,为毕业设计及视觉入门提供可复现的参考。

weixin_28678151的博客 271

Cursor设置界面汉化保姆级教程:手把手教你修改JS文件实现中文界面(附避坑指南)

本文提供Cursor编辑器设置界面汉化的详细教程,从定位JS文件到安全修改实现中文界面,包含必备工具清单、文件路径指引和常见问题解决方案。通过手把手教学帮助用户轻松完成汉化,提升使用体验,特别适合不熟悉英文界面的开发者。

weixin_29007809的博客 1416

Clion+platformIO开发ESP32时找不到lib文件中引入第三方库的头文件(头文件下有波浪线),实际编译是成功的解决方法

Clion+platformIO开发ESP引入第三方库文件编译器无法找到.h文件但编译成功

zs5218的博客 1852

Delta并联机械手-Codesys实现以及正解逆解研究

由于Codesys的Robotics模块有Delta并联机械手的运动模型,因此借助Codesys的机械手运动模型,研究自己的正解逆解算法。

weixin_42386991的博客 5567

告别配置烦恼!保姆级教程:在Windows 10/11上为QT5.14.2配置MSVC2017编译器(附VS2022组件避坑指南)

本文提供了一份详细的保姆级教程,指导如何在Windows 10/11上为QT5.14.2配置MSVC2017编译器,包括VS2022组件避坑指南。从环境准备到关键配置,再到调试工具验证和Qt Creator中的编译器设置,一步步解决常见问题,帮助开发者快速搭建稳定可靠的开发环境。

weixin_30615767的博客 503

将pytorch的权值矩阵量化为定点数补码并导入FPGA中

Xilinx FPGA实现LSTM算法时对ROM的初始化 将pytorch框架的权重矩阵以定点数补码的形式导入到FPGA中 文章目录Xilinx FPGA实现LSTM算法时对ROM的初始化1. pytorch框架中的LSTM2. 初始化一个RNN模型 3. 初始化ROM的coe文件格式 4. 将参数转换为补码,并且输出到coe文件 5. 配置一个ROM 6. 结论7. 代码 1. pytorch框架中的LSTM pytorch框架将LSTM算法中的八个权值矩阵连接成两个矩阵,假设要导入的LSTM网络的输

随缘分享 4529

DEXPI与Proteus XML:解锁过程工业P&ID数据互操作性的技术核心

本文深入探讨了DEXPI与Proteus XML在过程工业P&ID数据互操作性中的核心技术。通过解析DEXPI标准的开源特性和Proteus XML的架构设计,揭示了其在跨平台数据交换中的关键作用,并结合CADMATIC和西门子COMOS的实战案例,展示了如何实现高效的数据集成与转换。

weixin_29195615的博客 387

MediaCodec视频解码流程详解及参考demo

本文主要讲解mediacodec的视频解码流程,及demo参考例子。

分享音视频技术 7881

1 电科院FTU检测标准学习笔记-外观检查

作者简介:本人从事电力系统多年,岗位包含研发,测试,工程等,具有丰富的经验在配电自动化验收测试以及电科院测试中,本人全程参与,积累了不少现场的经验。

sixtome 1852

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

上一篇: LLaMA 基本原理深度解析:从三处替换到过训练经济学
下一篇: 视觉 SLAM 前端实战深度解析:ORB 帧间匹配 / 三角化建图 / 位姿图优化与回环
reset2021
博客等级 码龄5年 567粉丝 428原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

reset2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值