1. 三角测量的核心：共线方程与超定问题
当你用双目相机拍摄同一个物体时，物体点、相机光心和成像点三者其实在同一条直线上——这就是共线方程的物理意义。想象一下，你左右眼分别看到的同一个物体，就像两条从眼睛出发的射线，理论上这两条线应该在物体位置相交。但由于噪声和误差，它们往往不会完美相交，这时候就需要数学工具来找到"最佳交点"。
OpenCV中的triangulatePoints函数本质上就是在解决这个问题。具体来说，它会将共线条件转化为一个形如AX=0的矩阵方程。这里A是一个4x4的系数矩阵，X是我们要求解的三维齐次坐标。为什么是超定问题呢？因为从两个相机视角可以得到4个方程（每个视角x,y两个坐标），而未知数只有3个（X,Y,Z坐标），方程数量超过了未知数个数。
在实际操作中，我经常发现初学者容易卡在系数矩阵A的构造上。其实A矩阵的每一行都对应着一个共线约束条件。比如第一行可能对应左相机x坐标的约束，第二行对应左相机y坐标约束，以此类推。通过这种方式，我们就把几何问题转化成了线性代数问题。
2. 从投影矩阵到系数矩阵：构造A的详细步骤
让我们拆解一下A矩阵的构造过程。假设我们有两个相机，它们的投影矩阵分别是P1和P2。对于左相机的一个特征点(u1,v1)，我们可以写出两个方程：
u1 = (P1[0]·X)/(P1[2]·X) v1 = (P1[1]·X)/(P1[2]·X)这里X是三维点的齐次坐标，P1[i]表示P1矩阵的第i行。这两个方程可以重写为：
(u1*P1[2] - P1[0])·X = 0 (v1*P1[2] - P1[1])·X = 0这就是A矩阵中两行的来源！同理，右相机的特征点也会贡献两行。在OpenCV源码中，这部分对应注释"注1"处的代码：
matrA(j*2+0, k) = x * cvmGet(projMatrs[j],2,k) - cvmGet(projMatrs[j],0,k) matrA(j*2+1, k) = y * cvmGet(projMatrs[j],2,k) - cvmGet(projMatrs[j],1,k)我曾经在一个项目中犯过错误，把投影矩阵的行列顺序搞混了，结果重建出的3D点全是错的。调试后发现是因为OpenCV的投影矩阵存储顺序是行优先，而我误以为是列优先。这个小细节让我花了整整一天时间排查！
3. SVD分解的几何解释与实现细节
得到AX=0的方程后，OpenCV使用**奇异值分解(SVD)**来求解。为什么选择SVD？因为这是一个超定齐次方程组，传统求逆方法不适用。SVD可以找到使||AX||最小的单位向量X，这正是我们需要的解。
从几何上看，SVD在寻找矩阵A的零空间——也就是使得AX=0的那些X方向。具体来说，A的SVD分解为UΣV^T，解就是V的最后一列。这是因为Σ是对角矩阵，最后一个奇异值最小（理想情况下为零），对应的V列就是最优解。
OpenCV源码中这部分非常简洁：
cv::SVD::compute(matrA, matrW, matrU, matrV); cvmSet(points4D,0,i,matrV(3,0)); # X cvmSet(points4D,1,i,matrV(3,1)); # Y cvmSet(points4D,2,i,matrV(3,2)); # Z cvmSet(points4D,3,i,matrV(3,3)); # W这里有个关键点：SVD解出来的是齐次坐标，需要将XYZ除以W分量得到真实3D坐标。我遇到过W接近零的情况，这通常意味着匹配点有问题或者相机位姿估计不准确。
4. 实战中的陷阱与优化技巧
在实际使用triangulatePoints时，有几个坑需要注意：
输入点要先去除畸变：原始图像点必须先用
undistortPoints处理，否则共线方程不成立。我曾经忘记这一步，结果重建误差大得离谱。特征匹配质量至关重要：错误的匹配会导致完全错误的重建。建议先用RANSAC过滤误匹配。
数值稳定性问题：当物体距离相机很远时，齐次坐标的W分量可能非常小，导致数值不稳定。这时可以考虑对场景进行适当的缩放。
多视角融合：虽然本文讨论双视角，但实际项目中可以融合更多视角。多视角情况下，A矩阵的行数会增加（每多一个视角多两行），SVD解会更鲁棒。
一个实用的优化技巧是：在构造A矩阵前，对所有二维点坐标进行归一化（减去均值，除以标准差）。这能显著提高SVD的数值稳定性，特别是当像素坐标数值较大时。
