《(计算机视觉)附录B摄象机模型和外极线几何》由会员分享，可在线阅读，更多相关《(计算机视觉)附录B摄象机模型和外极线几何（17页珍藏版）》请在金锄头文库上搜索。
1、224附录 B 摄象机模型和外极线几何B.1 摄象机模型B.1.1 针孔模型和透视投影B.1.2 摄象机外参数B.1.3 摄象机内参数和归一化摄象机B.1.4 透视矩阵的一般形式B.2 透视投影的各种线性近似B.2.1 正投影（orthographic projection）B.2.2 弱透视（weak perspective）B.2.3 平行透视（paraperspective projection）B.2.4 仿射摄象机B.3 透视投影下的外极线几何B.3.1 外极线几何中的概念B.3.2 归一化坐标系中的外极线方程B.3.3 像素坐标系中的外极线方程B.3.4 投影矩阵下的外极线方程B.
2、3.5 基础矩阵和外极几何变换B.1 摄象机模型在大部分应用环境中可以用理想的针孔模型来近似实际摄象机。针孔模型的几何关系就是透视投影。下面我们先介绍透视投影的几何关系。B.1.1 针孔模型和透视投影针孔摄象机的模型在第五章中已有介绍。在那里我们使用了矢量代数的表示方法，下面我们用坐标变换的方法来推导之。我们定义的第一个坐标系是摄象机坐标系。该坐标系的原点在焦心 C，X、Y、Z 轴由A、H 和 V决定，其中 A 为光轴方向，H 和 V是正交的方向，三者组成右手直角坐标系。三维点在该坐标系中的坐标 Mc 记为(X c,Yc,Zc)T。为表示透视模型我们还需要在图象平面中建立图象坐标系。这是一个二
3、维坐标系，其原点位于光轴和图象平面的交点 c（称为主点，principal point） ，两坐标轴与 H和 V平行且反向。在该坐标系中像点 m 的坐标表示为(u,v) T。在定义了这两个坐标系后，投影模型可表示为(B.1)ccZfYvXu其中 f 为焦心到图象平面的距离，即焦距。摄象机坐标系和图象坐标系如图 B.1 所示。225图 B.1 针孔模型，其中过焦心 C 和图象平面平行的平面称为焦平面在实际应用中物体离焦心的距离一般都远大于焦距。因此我们常在光轴上和实际图象平面关于焦心对称的位置上设置一个虚拟图象平面，如图 B.2。并在该虚拟平面上建立二维坐标系。原点在光轴和该平面的交点，两坐标轴
4、与 H和 V平行并且方向相同。把像平面上的点经焦心作中心对称映射到该虚拟平面上。这样该平面上点的二维坐标与三维点的摄象机坐标系坐标同样满足上面的投影模型。以后我们一般把此虚拟平面称为像平面。图 B.2 使用虚拟图象平面的针孔模型对任一坐标值 x=(x1,x2,)T，我们用 表示 x 的齐次坐标。它由 x 的所有分量加上一个为 1 的元素生成，即 。),(在投影模型中如果我们使用 m 点的齐次坐标(U,V,S) T，则有226(B.2)10ccZYXfSVU其中 U,V,S 满足 S0 且 u=U/S，v=V/S。另外，我们用 Pc 表示 3*4 矩阵，则上式可写成线性形式10f(B.3)cMm
5、Ps其中 s=S 为一比例因子。B.1.2 摄象机外参数上面的讨论都是在摄象机坐标系(C,X c,Yc,Zc)中进行的，不过在实际应用中，摄象机的位置和方向并不总是固定不变的，因此我们需要用固定的世界坐标系(O,X,Y,Z)来表示三维点。记 Pc 在世界坐标系中的坐标为 M=(X,Y,Z)T，则两坐标系的关系可用 Mc=RM+t 来表示，R 是旋转矩阵，它表示摄象机的方向； t 则与摄象机的位置有关，它实际是世界坐标系原点在摄象机坐标系中的坐标。这两者被称为摄象机的外参数。如果我们使用齐次坐标，上面的坐标系间的关系可写成(B.4)MDc其中 ，0 3=0,0,0T (B.5)13TtR结合(B
6、.3)和(B.4)式，我们有(B.6)mPDPscc其中 P=PcD 为世界坐标系中的投影矩阵。B.1.3 摄象机内参数和归一化摄象机下面我们考虑图象平面上的坐标变换。它在实际应用中十分重要，这是因为： 像素坐标系的原点不一定与光轴和图象平面的交点（即主点）重合； 像素坐标系中两坐标轴的单位由实际设备的采样率决定，它们不一定相同； 像素坐标系中两坐标轴不一定成直角。为了处理这些问题，我们需要建立图象坐标系和像素坐标系间的仿射变换关系。如图B.3 所示， (c,x,y)是上一节介绍的图象坐标系。它是直角坐标系，并且两个轴向上的单位相227同。(o,u,v)则是像素坐标系，其原点常位于图象的左上角
7、而不是主点 c，像素也常常不是方的。设 ku、k v 是 u,v 轴上的单位在图象坐标系中的度量值，是 u,v 两轴的夹角，(u 0,v0)是c 在像素坐标系中的坐标。这五个参数就是摄象机的内参数。图 B.3 摄象机的内参数，图象平面上的坐标变换令 mold=x,yT 为图象坐标系中的坐标值，m new=u,vT 则是像素坐标。显然有，oldnewH其中 。另外，根据(B.3)式，我们有 ，代入上式，10sin/ct0vkuvu cMmoldlPs得 cnewcoldnewPHsMm其中 (B.7) 010sin/cot10vfkufPvuoldne Pnew 即像素坐标表示的投影矩阵。从中我
8、们可以看到真正起作用的是 u=fku 和 v=fkv，即焦距的变化和像素尺度的变化在最终的图象上是不可区分的。在实际应用中为简化公式，我们常常使用所谓的归一化坐标系。该坐标系也是定义在图象平面上的二维坐标系，如果用该坐标系表示图象平面上的点，则投影矩阵 PN 有非常简单的形式 (B.8)01NP对摄象机坐标系中的点(X c,Yc,Zc)，其像点的归一化坐标(x N,yN)满足xN=Xc/Zc, yN=Yc/Zc (B.9)根据 PN 和 Pnew 的定义，我们可以看到 PN 和 Pnew 满足228Pnew=APN (B.10)其中， (B.11)10sin/cot0vuAvu而归一化坐标(x
9、 N,yN)T 和像素坐标(u,v) T 满足(B.12)1vuyxN使用归一化坐标系实际是把摄象机的内外参数分解开来考虑，这样当我们关注于摄象机的外参数变化的情况(例如运动视觉 )时就不必考虑使用的是什么样的摄象机。B.1.4 透视矩阵的一般形式同时考虑摄象机的内外参数，即建立像素坐标系中点 m 与三维对应点在世界坐标系中的坐标值 Mw 之间的映射关系，我们有(B.13)Psm其中 (B.14)tRADN其中 A，R，t 如上两节所述。透视矩阵 P 为 3*4 矩阵，由于可相差一个尺度，因此只有 11 个独立参量。记 pij 为 P 中 i 行 j 列的元素，消去尺度因子 s，我们得到(B.
10、15)3433231 111pZYpXuww(B.16)3433231 22v上两式可用于标定摄象机。如果有六个以上的像点和三维点的对应就可求出 P，然后从 P 中分解出内外参数。这方面的内容就不详述了。根据 P 我们还可以求出焦心 C 在世界坐标系中的坐标。令 P=B b，其中 B 为 3*3 矩阵，b 为三维列向量。显然有 ，即 ，故0wP01wCbBCw=B1b (B.17)根据 P 和一个像点 m 我们可以得到空间中的一条射线，该射线由焦心和 m 决定，并且其上的所有点都透视投影为 m。这条射线的参数方程为 ，其中 为)(1MbB任一正实数。229B.2 透视投影的各种线性近似从上节的
11、讨论可以知道，透视投影实际是一个非线性映射。这在实际求解时可能需要大的计算量；更重要的是，如果透视效果并不明显，直接使用该模型可能会使实际问题称为病态问题。另外，在某些条件下，例如，摄象机的视场很小，并且物体的尺寸相对于到观察者的距离也很小，透视模型可以很好地用线性模型近似。这种近似可大大简化推导和计算。为简单起见，如果不作特别说明的话，下面的讨论都认为像点用其归一化坐标表示，三维点用其在摄象机坐标系中的坐标表示。B.2.1 正投影（orthographic projection）最简单的线性近似称为正投影。这种近似完全忽略了深度信息。在这种投影方式下，物体到摄象机的垂直距离（深度信息）和物体
12、到光轴的距离（位置信息）都完全丢失了。因此，它只在这两种信息确实可以忽略时才可使用。正投影的公式为 x=X, y=Y。B.2.2 弱透视（weak perspective）如果物体的尺寸相对其到摄象机的距离很小的话，物体上各点的深度可以用一共同的深度值 Z0 近似，这个值一般取物体质心的深度。这样透视模型可近似为(B.18)0ZYyXx这种近似可以看作两阶段投影的合成。第一步，整个物体按平行于光轴的方向正投影到经过物体质心并与图象平面平行的平面上；第二步，再按透视模型投影到图象平面上，这一步实际是全局的放缩。因此，弱透视也被称为放缩正投影（scaled orthographic project
13、ion） 。令 (B.19)01ZPwp则弱透视模型可写成与透视投影类似的形式。将摄象机的内外参数都考虑进来，我们有1ZYXPyxswp230，其中 s 为一比例因子，A 和 D 如上节定义。消去比例因子，我们wpDAPsMm看到二维点和三维点的对应关系确实是线性的。下面我们来推导这种近似带来的误差。现在我们又回到归一化坐标系和摄象机坐标系。设三维点 M 的真正深度值为 Z=Z0+Z。该点按透视模型投影为 mp，而弱透视的结果为mwp，我们用泰勒公式把 Z 在 Z0 处展开并略去高阶项，得到两者的差 merror 为 YXZYZYXZZ YXZwpero 00202020 020000 111
14、 11我们可以看到有两种原因带来误差，一是 ，即物体的深度信息；二是 ，即位0 Y置信息。误差对物体的不同部分是不同的。在实际应用中为使用弱透视模型，一般要求Z010*|Z|。B.2.3 平行透视（paraperspective projection）在弱透视投影中，三维点先被正投影到过物体质心并与图象平面平行的平面上。这一过程中丢失了物体的位置信息。如果物体离光轴较远，弱透视带来的误差是很大的。在平行透视中，投影过程仍可分为两步，第一步仍是把物体平行投影到过质心且与象平面平行的平面上，不过这次的投影线不是平行于光轴，而是平行于质心 G 和焦心 C 的连线 CG。容易得到平行透视的公式为(B.
15、20)00001YZyXx其中(X 0,Y0,Z0)为质心的三维坐标。为将该模型写成与透视投影类似的形式，我们令(B.21)0001ZYXPp231则 。即使考虑了摄象机的内外参数，二维点与三维点间的对应关系也1ZYXPyxsp仍是线性的。最后我们也来看看平行透视引入的误差。令(X,Y,Z) T=(X0+X,Y0+Y,Z0+Z)T，我们用与上节类似的方法得到 302020 0000200 00001111ZOZYXYZXYXZYZperom可以看到，像点误差是三维点误差的二阶无穷小。而在弱透视的情况下，像点误差是三维点误差的一阶无穷小。这说明，平行透视确实是比弱透视更好的近似。图 B.4 是各种线性近似和透视模型的比较。从图中可看到，各模型的近似程度和我们前面的分析是一致的。图 B.4 透视模型及其各种线性近似的比较图中 xorth、x wp、x pp 和 xp 分别是物体上的三维点 M 在正投影、弱透视、平行透视和透视投232影下的投影点。G 为物体的
