《第2章 摄像机成像中的若干重要空间关系.doc》由会员分享，可在线阅读，更多相关《第2章 摄像机成像中的若干重要空间关系.doc（12页珍藏版）》请在金锄头文库上搜索。
1、第二章 摄像机成像中的若干重要空间关系摄像机模拟人眼成像几何把三维场景空间关系投影到二维图像上，这一过程可以利用射影几何来刻划。借助射影几何以及齐次坐标、矩阵等代数工具，我们可以描述三维空间到二维图像的成像原理、两幅图像之间的极几何关系、空间中的特殊对象（例如平面等）的投影性质以及由图像重构三维空间物体形状的计算等。由于摄像机成像原理、极几何以及多视图几何等是计算机视觉研究的重要理论基础，因此有大量文献和著作给予讨论，其中比较系统的有Hartley等所著的“Multiple View Geometry in Computer Vision” 1、马颂德等所著的“计算机视觉计算理论与算法基础”
2、2等。在本章中，我们仅就后续章节所用到的若干重要空间关系作一个扼要介绍。2.1 视觉坐标系与成像几何原理2.1.1 图像坐标系、摄像机坐标系和世界坐标系 为了定量描述摄像机成像过程，首先定义以下三个坐标系。图像坐标系:图2-1 图像坐标系摄像机摄取的图像在计算机内以数组的形式存储，数组中的每一个元素称为象素（pixel），其值表示图像点的亮度(或称灰度，若为彩色图像，则图像的象素亮度将由红绿蓝三种颜色的亮度表示)。如图2-1所示，在图像上定义直角坐标系u-v，每一象素的坐标分别是该象素在图像中的列数和行数。所以是以象素为单位的图像坐标系的坐标。由于只表示象素位于图像中的列数和行数，并没有用物理
3、单位表示出该象素在图像中的物理位置，因而需要再建立以物理单位(例如毫米)表示的图像坐标系x-y，该坐标系以图像中某一点为原点，x轴、y轴分别与u轴、v轴平行，如图-1所示。在后续章节中，如不加特别说明，表示以象素为单位的图像坐标系的坐标，表示以物理单位度量的图像坐标系的坐标。在x-y坐标系中，原点定义为摄像机光轴和像平面的交点，该点一般位于图像的中心处，称为图像的主点。但由于摄像机制作的原因，也会有些偏离。若在u-v坐标系中的坐标为，每个象素在x轴和y轴方向上的物理尺寸为dx，dy，则图像中任意一个像素在两个坐标系下的关系如下：用齐次坐标和矩阵形式可表示为： （2.1）逆关系可写为： （2.2
4、）摄像机坐标系:所谓成像模型是指三维空间中的物体到像平面（视平面）的投影关系。理想的投影成像模型是光学中的小孔成像模型，图2-2是小孔成像模型的示意图。在此模型中，摄像机将场景点P经过C点投影到像平面上的像点m，其中点称为摄像机光心，轴和轴与图像坐标系的x轴和y轴平行，轴为摄像机的光轴，和像平面垂直，光轴与像平面的交点为，由点与轴组成的直角坐标系称为摄像机坐标系，记为，为摄像机焦距。世界坐标系:由于摄像机可安放在环境中的任何位置，我们在环境中还选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系，记为，如图-3所示。摄像机坐标系和世界坐标系之间的关系可用
5、旋转矩阵R与平移向量t来描述。因此，如果空间中某一点P在世界坐标系和摄像机坐标系下的齐次坐标分别为与，则存在如下关系： （2.3）其中R是旋转矩阵，t是三维平移向量，是矩阵，表示两个坐标系之间的关系。ZcP(Xc,Yc,Zc)图2-2. 小孔成像模型C1xyYcXcIC f(m(x,y) 图2-3 摄像机坐标系与世界坐标系问题：如何表示图像坐标与之间的关系？2.1.2 成象几何原理从小孔成像模型(如图2-2)中，不难看出，摄像机坐标系与成像平面坐标系之间存在以下关系：其中，为像点m在像平面坐标系下的坐标，为空间点P在摄像机坐标系下的坐标。和分别用齐次坐标表示为和，上式可写成矩阵形式： （2.4
6、）其中为常数因子。这是摄像机最理想的简单模型。将（2.4）代入（2.1）式： （2.5）令 （2.6）则（2.5）式可简略地表示为： （2.7）其中：、分别称为u轴与v轴方向的尺度因子，称为主点坐标，矩阵 K 称为摄像机内参数矩阵，通常我们称它为四参数模型。如果离散化后像素不是矩形方块或像平面不与光轴正交，则使用下述五参数模型： （2.8）其中：s称为畸变因子，这是摄像机的一般线性内参数模型。像平面归一化坐标如果已知内参数矩阵K，对像平面作坐标变换： （2.9）我们称为像平面的归一化（规范化）坐标。此时，有使用归一化坐标，相当于内参数矩阵是单位矩阵，即摄像机的焦距为1。2.1.3 世界坐标系与
7、摄像机投影矩阵以上讨论都是以摄像机坐标系为参考系。通过式（2.3）和（2.7），我们可以得到以世界坐标系表示的P点坐标与其像点m坐标的关系。由式（2.3）可得即 （2.10）其中，式（2.10）表示摄像机坐标系与世界坐标系之间的运动为（R，t），R 为旋转矩阵表示旋转分量，t 是一个三维向量表示平移分量。将（2.10）代入（2.7）式，我们有： （2.11）写成矩阵形式： （2.12）其中：称为空间点的齐次（世界）坐标，式（2.12）也称为摄像机投影方程。记 （2.13）称为摄像机投影矩阵，称为摄像机外参数。问题：已知图像点m坐标，如何求解K（称为摄像机标定）？如何求解R、t（称为运动分析）？
8、如何求解（称为三维重构）？2.2 极几何与基本矩阵2.2.1 极几何如果摄像机内参数矩阵为K，场景点 投影到像平面上的像点齐次坐标，则我们有：（可以理解为第一个摄像机坐标系为世界坐标系） （2.14）当摄像机作刚体运动，旋转矩阵为R，平移向量为t 时，新的摄像机坐标系为,它与初始坐标系C-xyz之间的关系为（摄像机移动过程中K保持不变），则场景点在当前像平面上的象素坐标为 （2.15）与称为一对匹配点。现在考虑摄像机在两个视点下拍摄同一场景的情况，如图2-4所示。令分别为第一与第二个摄像机的光心位置，在第一个像平面上的投影为 e，C在第二个像平面上的投影为，它们称为外极点。像平面上通过点 e（
9、）的直线称为外极线。e(R,t)CmxI图2-4 两幅图像的极几何关系外极约束：像平面上任一点 m，它在像平面上的匹配点 必位于外极线 上；类似地，像平面上任一点 ，它在像平面上的匹配点 m 必位于外极线 上。与 称为对应的外极线。2.2.2 基本矩阵在射影空间内，像平面上的直线 可用射影坐标来表示。令点 m 与的外极线与的射影坐标为与，则与m之 间满足一个线性变换：F 是一个秩 2 的矩阵，称为基本矩阵，它是两幅图像之间极几何的代数刻划。因 m 的匹配点 在外极线 上，故有 （2.16）将（2.16）式转置 （2.17）它表明对应的外极线可由表示。基本矩阵有下述基本性质：（1）F为基本矩阵当
10、且仅当F满足式（2.16）且；（2）极点 e 满足 Fe = 0，极点 满足；（3）F 在相差一个非零常数因子情况下是唯一的。基本矩阵的表示令为任一场景点，是一对匹配点，由式（2.14）、（2.15）在相差一个非零常数因子的情况下，有所以 即由向量定义的反对称矩阵为：即，所以又因，所以代入左式得到因此 由于，故基本矩阵可表示为： （2.18）2.2.3 由匹配点求基本矩阵对于两幅图像之间的匹配点、，它们必然满足极约束，即，该方程是关于F的9个末知参数的线性齐次方程，由于F在相差一个常数因子的意义下是唯一的，所以可以将其中的一个非零参数归一化而变为8个末知参数。这样如果事先能知道8对匹配点，就可
11、以线性地确定F，这就是所谓的八点算法(8-point algorithm)。在实践中，由于匹配点存在误差，通常选取多于8对匹配点(n8)，来求解下述线性最小二乘问题： （2.19）即解线性超定方程组 （2.20）式（2.20）的解为最小特征根所对应的单位特征矢量。2.3 本质矩阵2.3.1 本质矩阵如果已知内参数矩阵K，像平面使用归一化坐标，则称归一化坐标下的基本矩阵为本质矩阵。记本质矩阵为E，则 （2.21）因为所以 （2.22） （2.23）式（2.22）给出了本质矩阵与基本矩阵之间的关系。从式（2.23）可以看出：本质矩阵与内参数无关，仅由摄像机的运动（R t）所确定。2.3.2 本质矩
12、阵的性质（1）；（2）；（3），也就是仅仅由平移决定，这是因为（4），这里表示Frobenius范数。2.4 单应矩阵2.4.1 单应矩阵令P是空间任一平面，、为两幅图像之间的任一对匹配点，如图2-5所示。如果矩阵H使得 （2.24）其中是常数因子，则称H为平面P关于两幅图像之间的单应矩阵，简称平面P的单应矩阵。在一个相差非零常数因子的情况下，单应矩阵是唯一的。2.4.2 单应矩阵的表示令平面P关于第一个摄像机坐标系的方程为： （2.25）其中n是平面的单位法向量，d 是平面到坐标原点的距离。 （2.26）在（2.26）中令，我们有 （2.27）并称它为无穷远平面的单应矩阵。（R，t） P x
