《摄像机成像中的若干重要空间关系》由会员分享，可在线阅读，更多相关《摄像机成像中的若干重要空间关系（12页珍藏版）》请在金锄头文库上搜索。
1、1 第二章摄像机成像中的若干重要空间关系摄像机模拟人眼成像几何把三维场景空间关系投影到二维图像上，这一过程可以利用射影几何来刻划。借助射影几何以及齐次坐标、矩阵等代数工具，我们可以描述三维空间到二维图像的成像原理、两幅图像之间的极几何关系、空间中的特殊对象（例如平面等）的投影性质以及由图像重构三维空间物体形状的计算等。由于摄像机成像原理、极几何以及多视图几何等是计算机视觉研究的重要理论基础，因此有大量文献和著作给予讨论，其中比较系统的有Hartley 等所著的“ Multiple View Geometry in Computer Vision ”1、马颂德等所著的“计算机视觉计算理论与算法基
2、础”2等。在本章中，我们仅就后续章节所用到的若干重要空间关系作一个扼要介绍。2.1 视觉坐标系与成像几何原理2.1.1 图像坐标系、摄像机坐标系和世界坐标系为了定量描述摄像机成像过程，首先定义以下三个坐标系。图像坐标系 : C0 C1 ),(00vuv y x u 图 2-1 图像坐标系摄像机摄取的图像在计算机内以数组的形式存储，数组中的每一个元素称为象素（pixel ），其值表示图像点的亮度( 或称灰度，若为彩色图像，则图像的象素亮度将由红绿蓝三种颜色的亮度表示) 。如图2-1 所示， 在图像上定义直角坐标系u-v，每一象素的坐标),(vu分别是该象素在图像中的列数和行数。所以),(vu是以
3、象素为单位的图像坐标系的坐标。由于),(vu只表示象素位于图像中的列数和行数，并没有用物理单位表示出该象素在图像中的物理位置，因而需要再建立以物理单位( 例如毫米 ) 表示的图像坐标系x-y，该坐标系以图像中某一点1C为原点，x轴、y轴分别与u轴、v轴平行 ，如图 -1所示。在后续章节中，如不加特别说明，),(vu表示以象素为单位的图像坐标系的坐标，),(yx表示以物理单位度量的图像坐标系的坐标。 在x-y坐标系中，原点1C定义为摄像机光轴和像平面的交点，该点一般位于图像的中心处，称为图像的主点 。但由于摄像机制作的原因，也会有些偏离。若1C在u-v坐标系中的坐标为),(00vu，每个象素在x
4、轴和y轴方向上的物理尺寸为dx，dy，则图像中任意一个像素在两个坐标系下的关系如下：2 00,vdyyvudxxu用齐次坐标和矩阵形式可表示为：11001001100yxvdyudxvu（ 2.1 ）逆关系可写为：110000100vudyvdydxudxyx（2.2 ）摄像机坐标系 : 所谓成像模型是指三维空间中的物体到像平面（视平面）的投影关系。理想的投影成像模型是光学中的小孔成像模型，图2-2是小孔成像模型的示意图。在此模型中，摄像机将场景点P 经过C点投影到像平面上的像点 m ，其中C点称为摄像机光心，cX轴和cY轴与图像坐标系的x轴和y轴平行，cZ轴为摄像机的光轴，和像平面垂直，光轴
5、与像平面的交点为1C，由点C与cccZYX,轴组成的直角坐标系称为摄像机坐标系，记为cccZYXC，f为摄像机焦距 。世界坐标系 : 由于摄像机可安放在环境中的任何位置，我们在环境中还选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系，记为wwwwZYXO，如图 -3 所示。 摄像机坐标系和世界坐标系之间的关系可用旋转矩阵R与平移向量t来描述 。因此，如果空间中某一点P 在世界坐标系和摄像机坐标系下的齐次坐标分别为T wwwZYX) 1 ,(与T cccZYX)1 ,(，则存在如下关系：111011 wwwwwwT cccZYXZYXZYXMtR（ 2
6、.3 ）其中R是33旋转矩阵，t是三维平移向量，T)0, 0, 0(0，1M是44矩阵 ，表示两个坐标系之间的关系。3 ZC XC YC x y C C1Pm(x,y) ZwXw Yw(R,t) 世界坐标系摄像机坐标系Ow图 2-3 摄像机坐标系与世界坐标系问题：如何表示图像坐标),(vu与),(wwwZYX之间的关系？2.1.2 成象几何原理从小孔成像模型( 如图 2-2) 中，不难看出，摄像机坐标系与成像平面坐标系之间存在以下关系：ccccZfYyZfXx其中，),(yx为像点m 在像平面坐标系下的坐标，),(cccZYX为空间点P 在摄像机坐标系下的坐标。),(yxf P(Xc,Yc,Z
7、c) (m( x,y) 图2-2. 小孔成像模型C1 C I XcYcZcyx 4 和),(cccZYX分别用齐次坐标表示为)1 ,(yx和)1 ,(cccZYX，上式可写成矩阵形式：ccccccZYXffZYXffyx1000000100010000001（2.4 ）其中为常数因子。这是摄像机最理想的简单模型。将（ 2.4 ）代入（ 2.1 ）式：1vu100/100/100vdudyxcccZYXff1000000cccyxZYXvdfudf100/00/00（2.5 ）令1000000vfufvuKT cccTZYX1vu),(),(cPm （2.6 ）则（ 2.5 ）式可简略地表示为：
8、cKPm（2.7 ）其中：xudff/、yvdff/分别称为u轴与v轴方向的尺度因子，),(00vu称为主点坐标，矩阵K 称为摄像机内参数矩阵，通常我们称它为四参数模型。如果离散化后像素不是矩形方块或像平面不与光轴正交，则使用下述五参数模型：100000vfusfvuK（2.8 ）其中：s称为畸变因子，这是摄像机的一般线性内参数模型。像平面归一化坐标如果已知内参数矩阵K，对像平面作坐标变换：1vu1vu1 nnK（2.9 ）我们称1nnnvum为像平面的归一化（规范化）坐标。5 此时，有cnPKPKmc1使用归一化坐标，相当于内参数矩阵是单位矩阵，即摄像机的焦距为1。2.1.3 世界坐标系与摄
9、像机投影矩阵以上讨论都是以摄像机坐标系为参考系。通过式（2.3 ）和（ 2.7 ），我们可以得到以世界坐标系表示的P 点坐标与其像点m 坐标),(vu的关系。由式（2.3 ）可得111wTcP0tRP即tRPPwc（2.10 ）其中，T wwwZYX),(wP，式（ 2.10 ）表示摄像机坐标系与世界坐标系之间的运动为（R，t），R为旋转矩阵表示旋转分量，t是一个三维向量表示平移分量。将（2.10 ）代入（ 2.7 ）式，我们有：KtKRPmw（2.11 ）写成矩阵形式：1wPtRKm（2.12 ）其中： 1wP称为空间点的齐次（世界）坐标，式（ 2.12 ）也称为摄像机投影方程。记tRKQ（
10、2.13 ）称为摄像机投影矩阵，)(tR,称为摄像机外参数。问题：已知图像点m坐标),(vu，如何求解K（称为摄像机标定）？如何求解R 、t（称为运动分析）？如何求解T wwwZYX),(wP（称为三维重构）？2.2 极几何与基本矩阵2.2.1 极几何如果摄像机内参数矩阵为K，场景点Tzyx),(x投影到像平面上的像点齐次坐标Tvu) 1 ,(m，则我们有：（可以理解为第一个摄像机坐标系为世界坐标系）Kxm（2.14 ）当摄像机作刚体运动，旋转矩阵为R，平移向量为t时，新的摄像机坐标系为zyxC, 它与初始坐标系C-xyz之间的关系为tRxx（摄像机移动过程中K保持不变），则场景点Tzyx),
11、(x在当前像平面上的象素坐标Tvu)1 ,(m为6 KtKRxm（2.15 ）Tvu) 1 ,(m与Tvu)1 ,(m称为一对匹配点。现在考虑摄像机在两个视点下拍摄同一场景的情况，如图2-4 所示。 令CC,分别为第一与第二个摄像机的光心位置，C在第一个像平面I上的投影为e，C在第二个像平面I上的投影为e，它们称为外极点。像平面)(II上通过点e（e）的直线称为外极线。图 2-4 两幅图像的极几何关系外极约束 ：像平面I上任一点 m，它在像平面I上的匹配点m必位于外极线ml上；类似地，I像平面上任一点m，它在像平面I上的匹配点m必位于外极线ml上。ml与ml称为对应的外极线。2.2.2 基本矩
12、阵在射影空间内，像平面上的直线l可用射影坐标l来表示。令点m与m的外极线ml与ml的射影坐标为ml与ml，则ml与m之 间满足一个线性变换：FmlmF是一个秩 2 的矩阵，称为基本矩阵 ，它是两幅图像之间极几何的代数刻划。因m的匹配点m在外极线ml上，故有0TFmm（2.16 ）将（ 2.16 ）式转置0mFmTT（2.17 ）它表明m对应的外极线可由mFT表示。基本矩阵有下述基本性质：e ( R, t) C Cmm x I eImlml7 （1）F为基本矩阵当且仅当F 满足式（ 2.16 ）且2)(rank F；（2）极点 e满足 Fe = 0 ，极点e满足0eFT；（3）F在相差一个非零常
13、数因子情况下是唯一的。基本矩阵的表示令Tzyx),(x为任一场景点，II,mm是一对匹配点，由式（2.14 ）、（ 2.15 ）在相差一个非零常数因子的情况下，有KxmKtKRxm所以KtmKRKm1即tmRKmK11由向量T zyxttt)(t定义的反对称矩阵t为：0ttt0ttt0xyxzyzt即0tt，所以mRKtmKt11又因0R3xtxxT,，所以 ？0mKtKm1TT因此0mRKtKm1TT由于2)(rank1TRKtK，故 基本矩阵可表示为：1TRKtKF（2.18 ）2.2.3 由匹配点求基本矩阵对于两幅图像之间的匹配点im、),.,(n21iim，它们必然满足极约束，即0iT
14、iFmm，该方程是关于F 的9个末知参数的线性齐次方程，由于F 在相差一个常数因子的意义下是唯一的，所以可以将其中的一个非零参数归一化而变为8个末知参数。这样如果事先能知道8对匹配点，就可以线性地确定F，这就是所谓的八点算法(8-point algorithm)。在实践中，由于匹配点存在误差，通常选取多于8对匹配点 (n8) ，来求解下述线性最小二乘问题：i2 iT iFmin)(Fmm（2.19 ）8 即解线性超定方程组199,0RfRAAfn（2.20 ）式（ 2.20 ）的解为AAT最小特征根所对应的单位特征矢量。2.3 本质矩阵2.3.1 本质矩阵如果已知内参数矩阵K，像平面使用归一化
15、坐标，则称归一化坐标下的基本矩阵为本质矩阵。记本质矩阵为E，则0nEmmTn（2.21 ）因为mKm,mKm1 n1 n所以0mEKKm1TT1T1TEKKRKtKF（2.22 ）RtE（2.23 ）式（ 2.22 ）给出了本质矩阵与基本矩阵之间的关系。从式（2.23 ）可以看出：本质矩阵与内参数无关，仅由摄像机的运动（R t）所确定 。2.3.2 本质矩阵的性质（1）2Erank；（2）0tET；（3）Tttt)I(tEETT，也就是TEE仅仅由平移决定，这是因为2ttRRtEETTT（4）22|2|tE，这里|表示 Frobenius 范数。2.4 单应矩阵2.4.1 单应矩阵令P是空间任
16、一平面，m、m为两幅图像之间的任一对匹配点，如图2-5 所示。如果矩阵H 使得Hmm（2.24 ）其中是常数因子，则称H 为平面 P 关于两幅图像之间的单应矩阵，简称平面P的单应矩阵 。在一个相差非零常数因子的情况下，单应矩阵是唯一的。2.4.2 单应矩阵的表示令平面 P关于第一个摄像机坐标系的方程为：dxnT（2.25 ）9 其中n 是平面的单位法向量，d是平面到坐标原点的距离。Kxm)mK dtnK(KRKmK dtnKmKRKKtKRxm1T 11T 11KdtnKKRKHT 1（2.26 ）在（ 2.26 ）中令d，我们有1limKRK)KdtnK(KRKH1T1 d（2.27 ）并称它为无穷远平面的单应矩阵。图2-5 P 是空间任一平面，x为P 上任意点，C与C之间的运动为（R t）2.4.3 单应矩阵与基本矩阵之间的关系令F为两幅图像之间的基本矩阵，H为任一平面的单应矩阵，e为第二幅图象上的极点，则有HeF（2.28 ）事实上，因为1KtKKteT，所以有FRKtKKRK
