第二章 摄像机成像中的若干重要空间关系摄像机模拟人眼成像几何把三维场景空间关系投影到二维图像上，这一过程可以利用射影几何来刻划 借助射影几何以及齐次坐标、矩阵等代数工具，我们可以描述三维空间到二维图像的成像原理、两幅图像 之间的极几何关系、空间中的特殊对象(例如平面等)的投影性质以及由图像重构三维空间物体形状的计 算等由于摄像机成像原理、极几何以及多视图几何等是计算机视觉研究的重要理论基础，因此有大量文 献和著作给予讨论，其中比较系统的有Hartley等所著的“Multiple View Geometry in Computer Vision” [1]、马颂德等所著的“计算机视觉—计算理论与算法基础” [2]等在本章中，我们仅就后续章节所用到的若干重要空间关系作一个扼要介绍2.1 视觉坐标系与成像几何原理2.1.1 图像坐标系、摄像机坐标系和世界坐标系 为了定量描述摄像机成像过程，首先定义以下三个坐标系 图像坐标系:u图 2-1 图像坐标系C1（u0，vo）摄像机摄取的图像在计算机内以MXN数组的形式存储，数组中的每一个元素称为象素(pixel)，其 值表示图像点的亮度(或称灰度，若为彩色图像，则图像的象素亮度将由红绿蓝三种颜色的亮度表示)。
如 图2-1所示，在图像上定义直角坐标系u-v,每一象素的坐标(u, v)分别是该象素在图像中的列数和行数所以(u, v)是以象素为单位的图像坐标系的坐标由于(u, v)只表示象素位于图像中的列数和行数，并没有用物理单位表示出该象素在图像中的物理位置，因而需要再建立 以物理单位(例如毫米)表示的图像坐标系x-y，该坐标系以图像中某一点C为原点，x轴、y轴分别与u轴、v轴平行，如图2-1所示在后续章节中, 1如不加特别说明，(u,v)表示以象素为单位的图像坐标系的坐标，(x, y)表示以物理单位度量的图像坐标系的坐标在x-y坐标系中，原点C定义为摄像机光轴和像平面的交点，该点一般位于图像的中心处，称为1图像的主点但由于摄像机制作的原因，也会有些偏离若C在u-v坐标系中的坐标为(u v0)，每个象素1 0 0 在x轴和y轴方向上的物理尺寸为dx，dy，则图像中任意一个像素在两个坐标系下的关系如下：x yu = + u , v = + vdx 0 dy 0用齐次坐标和矩阵形式可表示为：逆关系可写为：2.1)-u dx0-v dy012.2)摄像机坐标系:所谓成像模型是指三维空间中的物体到像平面(视平面)的投影关系。
理想的投影成像模型是光学中的小孔成像模型，图2-2是小孔成像模型的示意图在此模型中，摄像机将场景点P经过C点投影到像平面上的像点m,其中C点称为摄像机光心，X轴和Y轴与图像坐标系的x轴和y轴平行，Z轴为摄像机的光 c c c轴，和像平面垂直，光轴与像平面的交点为C，由点C与X , Y , Z轴组成的直角坐标系称为摄像机坐标1 c c c系，记为 C - X Y Z ， f 为摄像机焦距c c c世界坐标系:由于摄像机可安放在环境中的任何位置，我们在环境中还选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系，记为O - X YZ，如图2-3所示摄像w w w w机坐标系和世界坐标系之间的关系可用旋转矩阵R与平移向量t来描述因此，如果空间中某一点P在世界坐标系和摄像机坐标系下的齐次坐标分别为(X ,Y ,Z ,1)t与(X , Y , Z ,1)T，则存在如下关系: w w w c c c-X ]■ X 一■ X 一cwwY■ RtYYc=w=MwZ0t1Z1Zc—1ww1112.3)其中R是3x3旋转矩阵，t是三维平移向量，0 = (0,0,0)T，M 1是4x4矩阵，表示两个坐标系之间的关系。
Zc +P（Xc,Yc,Z（）Yc图2-2.小孔成像模型图 2-3 摄像机坐标系与世界坐标系问题：如何表示图像坐标(u,v)与(X ,Y ,Z )之间的关系? w w w2.1.2 成象几何原理从小孔成像模型(如图2-2)中，不难看出，摄像机坐标系与成像平面坐标系之间存在以下关系：X = fXcZy =已Zc其中，(x,y)为像点m在像平面坐标系下的坐标，(X ,Y,Z )为空间点P在摄像机坐标系下的坐标x,y)c c c和（X , Y , Z ）分别用齐次坐标表示为（x, y,1）和（X ,Y ,Z ,1），上式可写成矩阵形式:c c c c c cxf 0 0 0y=0 f 0 010 0 10」r x _cr f 00]r X _Ycc=0 f 0YZcc0 0 1ZL1c2.4)其中卩为常数因子这是摄像机最理想的简单模型将（2.4）代入（2.1）式：x01/dy0u0v01cf / dx000f / dy0u0v01XcYcZc2.5) f0uu0K =0fvv00011——1m = (u, v,1)t2.6)则（2.5）式可简略地表示为：其中： fur m 二 KPc二f /d、f二f /d分别称为u轴与v轴方向的尺度因子，（u ,v ）称为主点坐标，矩阵x v y 0 02.7)K 称为摄像机内参数矩阵，通常我们称它为四参数模型。
2.8)如果离散化后像素不是矩形方块或像平面不与光轴正交，则使用下述五参数模型：r fsuu0K =0fvv0001其中：S称为畸变因子，这是摄像机的一般线性内参数模型 像平面归一化坐标如果已知内参数矩阵K,对像平面作坐标变换:unvn12.9)为像平面的归一化（规范化）坐标此时，有卩 m = K -iKP = Pn c c使用归一化坐标，相当于内参数矩阵是单位矩阵，即摄像机的焦距为12.1.3 世界坐标系与摄像机投影矩阵以上讨论都是以摄像机坐标系为参考系通过式（2.3）和（2.7），我们可以得到以世界坐标系表示 的P点坐标与其像点m坐标（u,v）的关系由式（2.3）可得0T 12.10)P 二 RP +1c w其中，P = （X ,Y ,Z ）T，式（2.10）表示摄像机坐标系与世界坐标系之间的运动为（R, t）, R为旋 w w w w转矩阵表示旋转分量， t 是一个三维向量表示平移分量将（2.10）代入（2.7）式，我们有：r m = KRP + Kt （2.11）w写成矩阵形式：2.12)P其中： 1称为空间点的齐次（世界）坐标，式（2.12）也称为摄像机投影方程记Q = KR t] （2.13）称为摄像机投影矩阵， （R,t） 称为摄像机外参数。
问题：已知图像点m坐标（u, v），如何求解K （称为摄像机标定）？如何求解R、t （称为运动分析）？如何求解P二（X , Y , Z ）T （称为三维重构）？w w w w2.2 极几何与基本矩阵2.2.1 极几何如果摄像机内参数矩阵为K,场景点x二（x, y,z）T投影到像平面上的像点齐次坐标m = （u, v,1）t，则 我们有：（可以理解为第一个摄像机坐标系为世界坐标系）r m = Kx （2.14）当摄像机作刚体运动，旋转矩阵为R,平移向量为t时，新的摄像机坐标系为C- x'y'z'，它与初始坐标系 C-xyz之间的关系为x = Rx +1 （摄像机移动过程中K保持不变），则场景点x二（x,y,z）T在当前像平面上 的象素坐标m' = （uv ',1） t为2.15)『m' = KRx + Ktm = (u, v,l) t 与 m' = (u : v',1) t 称为一对匹配点现在考虑摄像机在两个视点下拍摄同一场景的情况，如图2-4所示令C,C'分别为第一与第二个摄像 机的光心位置，C'在第一个像平面I上的投影为e，C在第二个像平面I'上的投影为e'，它们称为外极点 像平面I(I')上通过点e( e')的直线称为外极线。
图2-4 两幅图像的极几何关系外极约束：像平面I上任一点m,它在像平面I'上的匹配点m'必位于外极线T上；类似地，I'像平面上任一m点m，它在像平面I上的匹配点m必位于外极线l，上T与l，称为对应的外极线m m m2.2.2 基本矩阵在射影空间内，像平面上的直线l可用射影坐标l来表示令点m与m的外极线l'与l，的射影坐标m m为r与l ,，则l'与m之间满足一个线性变换：m m ml'二 FmmF 是一个秩 2 的矩阵，称为基本矩阵，它是两幅图像之间极几何的代数刻划因m的匹配点m'在外极线l'上，故有mm fTFm = 0 (2.16)将( 2.16)式转置mTF Tmf = 0 (2.17)它表明m对应的外极线可由Frm'表示基本矩阵有下述基本性质：(1) F为基本矩阵当且仅当F满足式(2.16)且rank(F) = 2(2) 极点e满足Fe = 0,极点e'满足F"'二03) F 在相差一个非零常数因子情况下是唯一的基本矩阵的表示令x = (x, y, z)T为任一场景点，m g l,mI是一对匹配点，由式(2.14)、(2.15)在相差一个非零常数因子的情况下,有m = Kx m' = KRx + Kt 所以m' = KRK -im + Kt即K -im' = RK -im +1由向量t = (t t t)T定义的反对称矩阵It]为：x y z X0 — t tz yt 0 — tz x—t t 0y x -即t] t = 0，所以X\t ] K -im = \t ] RK -imX X又因 Vx g R3,xt \t] x = 0，所以？？ ？Xm'TK -t \t ] K -im' = 0X因此m^K-t t] RK-im = 0X 由于rank(K-T t] RK-i) = 2，故基本矩阵可表示为：X2.18)F = K-t \t] RK -iX2.2.3 由匹配点求基本矩阵对于两幅图像之间的匹配点 m 、im： (i = 1,2,...n)，它们必然满足极约束,i即m'tFm = 0，该方程ii是关于F的9个末知参数的线性齐次方程，由于F在相差一个常数因子的意义下是唯一的，所以可以将其 中的一个非零参数归一化而变为8个末知参数。
这样如果事先能知道8对匹配点，就可以线性地确定F,这 就是所谓的八点算法(8-point algorithm)。