《第九组 数码相机定位》由会员分享，可在线阅读，更多相关《第九组 数码相机定位（30页珍藏版）》请在金锄头文库上搜索。
1、数码相机定位数码相机定位 第九组：陈会敏第九组：陈会敏 韩晓明韩晓明 张永胜张永胜摘要摘要 本文对数码相机双目定位问题进行了研究，建立了合理的数码相机成像的具体数学模型与算法。 针对问题一本文根据透镜成像原理，在合理假设的基础上，首先建立像素图像、物理图像、相机、空间世界4坐标系并推导出坐标转换公式，进而确定了相机成像的线性几何模型。 针对问题二利用MATLAB读图，选取五个圆的上下左右各四个边界点作为特征点，其次通过Excel像素模拟图得到各特征点的像素图像坐标，利用最小二乘法求的模型一中坐标变换的最优矩阵参数。然后通过坐标变换求得靶标圆心像素图像坐标系下的坐标。 问题三根据问题二中得到的圆
2、心的像坐标，通过坐标变换逆运算得到世界坐标系下的圆心坐标，分析两圆心之间距离的平均值与标准差以检验模型的合理性。其次利用蒙特卡罗模拟的方法进行了稳定性分析，多次迭代以精确检测模型的稳定性。 问题四中利用模型一对两相机系统外参数进行求解，建立了相机空间相对位置关系模型。关键词关键词坐标变换坐标变换 透视投影模型透视投影模型 Excel像素模拟图像素模拟图 蒙特卡罗模拟蒙特卡罗模拟创建模型将图像用excelexcel进行处理，建立像素模拟图表模型精度检验与稳定分析建立相机空间相对位置关系模型求解参数矩阵，求出靶标圆心坐标（一）模型假设1、假设数码相机成像原理为透镜成像原理；2. 假设相机成像镜头不
3、会产生镜头畸变造成光学畸变误差；3、假设光学中心、焦点及数码相机屏幕中心的像平面共线，称该线为光轴；4. 假设所讨论的照相设备是最简单的情形，不具有广角等功能。（二）符号说明 QwQw：世界坐标系：世界坐标系 QcQc：相机坐标系：相机坐标系 QpQp：像坐标系：像坐标系 T T： 平移向量平移向量 R R： 旋转矩阵旋转矩阵 MM： 空间转换矩阵空间转换矩阵 f f： 焦距焦距 任意物点任意物点P P在空间世界坐标系中的坐标在空间世界坐标系中的坐标 P P点在相机的坐标系中坐标点在相机的坐标系中坐标 ( (x,yx,y): P): P点在物理图像坐标系中坐标点在物理图像坐标系中坐标 ( (u
4、,vu,v): P): P点在图像像素坐标系中的坐标点在图像像素坐标系中的坐标 光轴与图像平面的交点在图像像素坐标系中的坐标光轴与图像平面的交点在图像像素坐标系中的坐标（三）、模型的建立：3-1坐标系的引入假设相机镜头透镜很小，光学系统为针孔成像系统。 在假设基础上建立四个坐标系：空间世界坐标系、相机坐在假设基础上建立四个坐标系：空间世界坐标系、相机坐标系、物理图像坐标系以及图像像素坐标系。标系、物理图像坐标系以及图像像素坐标系。 （1 1）世界坐标系以靶标中心为原点）世界坐标系以靶标中心为原点o o，以靶标平面为，以靶标平面为xw-xw-ywyw平面，单位为平面，单位为mmmm。 （2 2）
5、相机坐标系：以相机光心为原点）相机坐标系：以相机光心为原点O,O,其其XCXC轴和轴和YCYC轴轴与物理图像坐标系的与物理图像坐标系的x x轴，轴，y y轴平行，轴平行，ZCZC轴与图像平面垂轴与图像平面垂直。光轴与图像平面的交点即为物理图像坐标系的原点。直。光轴与图像平面的交点即为物理图像坐标系的原点。 （3 3）物理图像坐标系，其原点为透镜光轴与成像平面的）物理图像坐标系，其原点为透镜光轴与成像平面的交点，交点，X X 与与Y Y 轴分别平行于摄像机坐标系的轴分别平行于摄像机坐标系的x x 与与y y 轴，是轴，是平面直角坐标系，单位为毫米。平面直角坐标系，单位为毫米。 （4 4）图像像素
6、坐标系，固定在图像上的以像素为单位的）图像像素坐标系，固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角平面直角坐标系，其原点位于图像左上角, u, u，v v 平行于图平行于图像物理坐标系的像物理坐标系的X X 和和Y Y轴。对于数字图像，每个像素点的轴。对于数字图像，每个像素点的坐标（坐标（u u，v v）分别表示该像素点在坐标系中的行数与列数。）分别表示该像素点在坐标系中的行数与列数。3-2坐标系的变换若物理图像坐标系原点在坐标系中的坐标为，每一个像素在轴与轴方向上的物理尺寸为，则图像像素坐标系中任意一个像素在两个坐标系下的坐标有如下变换：3-2-1图像像素坐标系与物理图像
7、坐标系的变换用齐次坐标与矩阵形式将上式表示，即：用齐次坐标与矩阵形式将上式表示，即： 通过矩阵变换的知识可以得到上式逆关系可表示为：通过矩阵变换的知识可以得到上式逆关系可表示为：3-2-2相机坐标系向物理图像坐标系的转换 按透镜透视投影成像原理，由相机坐标系向图像坐标系按透镜透视投影成像原理，由相机坐标系向图像坐标系的转换过程符合中心影射或透视投影，可用齐次坐标与的转换过程符合中心影射或透视投影，可用齐次坐标与矩阵表示为：矩阵表示为： 3-2-3 空间世界坐标系与相机坐标系变换 由于数码相机可安放在环境中由于数码相机可安放在环境中任何位置，在环境中应该选择任何位置，在环境中应该选择一个基准坐标
8、来描述数码相机一个基准坐标来描述数码相机的位置，并用它描述环境中任的位置，并用它描述环境中任何物体的位置，该坐标线之间何物体的位置，该坐标线之间的关系可以用旋转矩阵的关系可以用旋转矩阵A A与平与平移向量移向量T T来描述。因此，空间来描述。因此，空间某一点在世界坐标系与数码相某一点在世界坐标系与数码相机坐标系下的齐次坐标如果分机坐标系下的齐次坐标如果分别是与别是与, ,于是存在下列关系：于是存在下列关系： 齐次坐标可表示为齐次坐标可表示为： 其中，A为3*3正交单位矩阵， 又为旋转矩阵， A3=A1=A2=其中，A为正交单位矩阵， 又为旋转矩阵，式中，A1，A2，A分别表示照相机坐标围绕空间
9、世界坐标系XC,YC,ZC轴的旋转矩阵； 与旋转矩阵对应的三个角度。所以便可以得到矩阵A为：其中 T T为三维平移向量，为三维平移向量，3 3各分量分别表示相机坐标系原点在各分量分别表示相机坐标系原点在XW,YW,ZWXW,YW,ZW方向上的三个偏移量，为矩阵。方向上的三个偏移量，为矩阵。 所以，空间世界坐标系到图像像素坐标系的转换为所以，空间世界坐标系到图像像素坐标系的转换为，其中其中M1M1与相机内部有关称为内部参数，与相机内部有关称为内部参数，M2M2含有和含有和T T六六个由空间世界坐标系与相机坐标系相对位置所决定的六个由空间世界坐标系与相机坐标系相对位置所决定的六个参量，一旦建立给定
10、的空间世界坐标系，即为常数。个参量，一旦建立给定的空间世界坐标系，即为常数。上式也可写成上式也可写成 上述方程描述了三维世界坐标点（上述方程描述了三维世界坐标点（XwXw，YwYw，ZwZw，1 1）与）与相应图像相应图像( (u u, ,v v,1) ,1) 之间的关系。故也可写成之间的关系。故也可写成 如果已知三维世界坐标和相应的图像坐标，将变换矩阵看如果已知三维世界坐标和相应的图像坐标，将变换矩阵看作未知数，则共有作未知数，则共有12 12 个未知数。又因为世界坐标系的个未知数。又因为世界坐标系的X-YX-Y平面与物体所在平面坐标系重合，即平面与物体所在平面坐标系重合，即ZwZw=0=0
11、，所以它的系，所以它的系数对结果不影响可设为数对结果不影响可设为0 0，因此只有八个参数。，因此只有八个参数。3-3问题二的处理 在第一问模型基础上根据题靶标和靶标的像，求算靶标在第一问模型基础上根据题靶标和靶标的像，求算靶标上圆的圆心在像平面上的像坐标，可分三步进行。上圆的圆心在像平面上的像坐标，可分三步进行。 第一，读取靶标的像图，确定边界点的位置。第一，读取靶标的像图，确定边界点的位置。 用用matlabmatlab中的中的imreadimread图像处理工具读取像图，得到像图中每个像图像处理工具读取像图，得到像图中每个像素点亮度值的矩阵。对上述矩阵进行二值化处理，素点亮度值的矩阵。对上
12、述矩阵进行二值化处理，将数将数将数将数据导出至据导出至据导出至据导出至excelexcel中中中中，然后跟据像素调整行宽和列高并对中，然后跟据像素调整行宽和列高并对中间图像部分进行涂色得到像素模拟图表。该像素模拟图间图像部分进行涂色得到像素模拟图表。该像素模拟图表的优点在于，它可以利用表的优点在于，它可以利用excelexcel的表格对图像的像素进的表格对图像的像素进行模拟，直观展现出每个像素点位置及亮度情况。行模拟，直观展现出每个像素点位置及亮度情况。 第二，利用靶标、像素模拟图中边界点的坐标对应关系，第二，利用靶标、像素模拟图中边界点的坐标对应关系，对上式系数进行拟合，然后求出圆心的坐标。
13、对上式系数进行拟合，然后求出圆心的坐标。根据物理根据物理根据物理根据物理成像原理可知原图中的边界点在像图中仍为边界点成像原理可知原图中的边界点在像图中仍为边界点成像原理可知原图中的边界点在像图中仍为边界点成像原理可知原图中的边界点在像图中仍为边界点。选。选取五个圆的上下左右四个边界点共取五个圆的上下左右四个边界点共2020个点作为特征点如个点作为特征点如下：下：图4.2.1 选取点散点图（x-y）单位：毫米 图4.2.2 对应像点散点图（u-v），单位：像素将以上数据代入模型一的（12）式对m11、m12、m14、m21、m22、m24、m31、m32、m34这八个系数进行线性拟合，由于参数矩
14、阵乘以任意不为零的常数对结果没有影响，故制定m34=1。计算结果如下：M=表一：具体坐标数据表点点x xy yu uv v点点x xy yu uv v1 1-50-506262120120555511115050383823323392922 2-62-625050104104707012126262505024824876763 3-50-50383811911984841313-50-50-32-321061061711714 4-38-38505013413469691414-62-62-50-5091911851855 5-20-20626215715758581515-50-50-6
15、2-621041041961966 6-32-32505014214273731616-38-38-50-501191191821827 7-20-203838155155868617175050-32-322162161731738 8-8-85050170170717118183838-50-502022021861869 950506262237237656519195050-62-62212212196196101038385050222222808020206262-50-50226226182182带回到式（12）求得圆心坐标，结果如下： x x y y u u v v-50-50
16、5050102.4313102.431359.9647459.96474-20-205050140.5563140.556365.4415865.4415850505050236.667236.66779.2483479.24834-50-50-50-50104.3022104.3022183.5344183.53445050-50-50248.8581248.8581214.9644214.9644 第三，结果检验及校正。根据附表一的模拟图像，可以近似比对圆心坐标结果，可知误差仍在允许的范围之内。3-4. 模型检验和稳定性分析 在以上模型的求解过程中，我们并没有利用图形中给出的在以上模型的求
17、解过程中，我们并没有利用图形中给出的全部信息就得到了结果，我们以上求解圆心坐标时，我们只利全部信息就得到了结果，我们以上求解圆心坐标时，我们只利用了圆上某四个点所映射出的点确定圆心的像位置。这里面暗用了圆上某四个点所映射出的点确定圆心的像位置。这里面暗含了一个假设，即像上的点都是由我们求得的靶标位置上的圆含了一个假设，即像上的点都是由我们求得的靶标位置上的圆的点形成的。但是求得的靶标的位置是不精确的，因此三维空的点形成的。但是求得的靶标的位置是不精确的，因此三维空间内圆上的点与像上圆上的点可能会有偏差。因此精度检验可间内圆上的点与像上圆上的点可能会有偏差。因此精度检验可以转换为像上的图形与靶标
18、上的圆的映射关系的检验。具体方以转换为像上的图形与靶标上的圆的映射关系的检验。具体方法是，首先将像上的点投射到以上模型求得的靶标上，然后计法是，首先将像上的点投射到以上模型求得的靶标上，然后计算靶标上相应的圆心距离这些点的平均距离和标准差，平均距算靶标上相应的圆心距离这些点的平均距离和标准差，平均距离和标准差越小，说明模型越准确。离和标准差越小，说明模型越准确。 3-4-13-4-1检验算法及求解检验算法及求解 1. 1. 从像素图像坐标到空间世界坐标从像素图像坐标到空间世界坐标 由问题二的求解，可得到靶标上五个圆的圆心在像素平面坐标系中的坐标，设为 利用模型一中得到的坐标变换，进行坐标逆变换
19、，可求的5个像圆心在靶标上对应的空间世界坐标，进而求的与靶标圆心之间的距离，计算公式如下：3-4-2.计算映射点与圆心距离的均值与方差 有上述可得所有像圆心在靶标上对应点与靶标圆心有上述可得所有像圆心在靶标上对应点与靶标圆心有上述可得所有像圆心在靶标上对应点与靶标圆心有上述可得所有像圆心在靶标上对应点与靶标圆心之间的距离之间的距离之间的距离之间的距离 ，并计算出所有这些点距离相应圆，并计算出所有这些点距离相应圆，并计算出所有这些点距离相应圆，并计算出所有这些点距离相应圆心的距离的均值心的距离的均值心的距离的均值心的距离的均值 与标准差与标准差与标准差与标准差 。故可得下数据表：。故可得下数据表
20、：。故可得下数据表：。故可得下数据表：从以上表可以看出，以从以上表可以看出，以 的平均偏差都不大于一个像素，标准差也控制在的平均偏差都不大于一个像素，标准差也控制在2 像素左右像素左右标准差系数非常小，说明像平面上的点映射到靶标平面上，得到的点比较好的拟合了原靶标准差系数非常小，说明像平面上的点映射到靶标平面上，得到的点比较好的拟合了原靶标平面上的五个圆，因此有理由相信，经过以上算法计算得到的像平面上的圆心精度很高。标平面上的五个圆，因此有理由相信，经过以上算法计算得到的像平面上的圆心精度很高。%计算精度误差计算精度误差 bound_zb;qj;wc=;jl=;jlj=;nzb=;yx=oA;
21、oB;oC;oE;oD;for i=1:5for j=1:length(zb_boundi(:,1)h=-oa*inv(xs2wl(zb_boundi(j,2),zb_boundi(j,1),1577;ab;ac);nzb=-h(1)*xs2wl(zb_boundi(j,2),zb_boundi(j,1),1577;jl=norm(nzb-yx(i,:);jlj=jlj;jl;endwc=wc;mean(jlj),std(jlj);jlj=;endwcwc(:,1)-12*3.78wc(:,2)./wc(:,1)3-5稳定性分析 相机在实际拍摄物体时往往有一定的角度，为了便于说相机在实际拍摄物
22、体时往往有一定的角度，为了便于说明，定义数码相机垂直拍摄物体时所看到的面为基准面。明，定义数码相机垂直拍摄物体时所看到的面为基准面。用数码相机进行拍摄，看到的平面都与基准面有一定的用数码相机进行拍摄，看到的平面都与基准面有一定的夹角，如下图：夹角，如下图： 图中的平面图中的平面A A表示基准面，物体的形状没有发生变化，表示基准面，物体的形状没有发生变化，但在实际生活中摄像所看到的平面通常是平面，平面和但在实际生活中摄像所看到的平面通常是平面，平面和平面之间的夹角为，也即是我们的视线与平面法线的夹平面之间的夹角为，也即是我们的视线与平面法线的夹角；夹角的变化范围是角；夹角的变化范围是 设物体上的
23、点在空间世界坐标中的坐标设为，世界坐标系设物体上的点在空间世界坐标中的坐标设为，世界坐标系的坐标原点为；图像坐标系的原点为。世界坐标中的相对的坐标原点为；图像坐标系的原点为。世界坐标中的相对应的点为，那么它们与相应坐标原点存在着如下的关系：应的点为，那么它们与相应坐标原点存在着如下的关系： 其中，其中， 为在世界坐标系中到坐标原点为在世界坐标系中到坐标原点 的的距离，距离， 为在像平面中到坐标原点的距离，为在像平面中到坐标原点的距离，( (x,yx,y) )为放为放大或者缩小的比率。其中，为在世界坐标系中到坐标原点大或者缩小的比率。其中，为在世界坐标系中到坐标原点的距离，为在像平面中到坐标原点
24、的距离，的距离，为在像平面中到坐标原点的距离，k k为放大或者为放大或者缩小的比率。此时，可以运用蒙特卡罗思想来进行多次模缩小的比率。此时，可以运用蒙特卡罗思想来进行多次模拟，迭代次数至少在拟，迭代次数至少在10001000次以上，随机产生满足以上约束次以上，随机产生满足以上约束的像平面上的坐标的预测值，此产生出来的坐标与问题一的像平面上的坐标的预测值，此产生出来的坐标与问题一中的得到的坐标进行对比，得出结论。中的得到的坐标进行对比，得出结论。（四） 相机相对定位法 4-1求两相机外参数矩阵求两相机外参数矩阵M2如果用两相机同时观察同一立体对象，可有第一如果用两相机同时观察同一立体对象，可有第
25、一问中单一相机标定方法得出两个相机坐标系与空问中单一相机标定方法得出两个相机坐标系与空间世界坐标系的相对位置关系参数间世界坐标系的相对位置关系参数A A和和T.T.1.1.建立空间世界坐标系，设原点为靶标圆心，垂建立空间世界坐标系，设原点为靶标圆心，垂直靶标面为直靶标面为Z Z轴。轴。2.2.由坐标转换由坐标转换, ,利用问题二求出的圆心坐标和靶利用问题二求出的圆心坐标和靶标圆心在空间世界坐标系中的坐标，可建立标圆心在空间世界坐标系中的坐标，可建立5 5个个方程组。方程组。3.3.最小二乘法可求的上述方程参数最小二乘法可求的上述方程参数MM的最优解，的最优解，而内参数矩阵而内参数矩阵M1M1已
26、知，故可求的外参数矩阵已知，故可求的外参数矩阵M2M2，即旋转矩阵，即旋转矩阵A A和平移向量和平移向量T.T.4-2求两相机的几何关系求两相机的几何关系A,T. 对任意一点对任意一点P P，如它在世界坐标、相机一坐标系与相机，如它在世界坐标、相机一坐标系与相机二坐标系下的非齐次坐标分别为二坐标系下的非齐次坐标分别为xwxw, xc1, xc2, xc1, xc2，则，则 将上式中将上式中xwxw 消去后得到消去后得到两个摄像机之间的几何关系可用以下的A和T 表示：由此可由A1, T1 与A2, T2计算得出，双摄像机的相对几何位置A 和T,即其旋转矩阵和平移向量。（五）模型评价（五）模型评价
27、根据传统针孔投射原理本文系统地建立了基根据传统针孔投射原理本文系统地建立了基于坐标变换的相机透视投影模型于坐标变换的相机透视投影模型合理地运用了合理地运用了ExcelExcel软件得到像素模拟图像表，软件得到像素模拟图像表，获得了每个像素点的坐标，直观明了获得了每个像素点的坐标，直观明了运用了蒙特卡罗模拟的方法以对模型进行了运用了蒙特卡罗模拟的方法以对模型进行了稳定性分析稳定性分析将两相机相对位置的求解转化为对空间世界将两相机相对位置的求解转化为对空间世界坐标系的外参数矩阵坐标系的外参数矩阵M2M2的求解（的求解（ ），最终解决了双目系统定标问题，解决过），最终解决了双目系统定标问题，解决过程清晰，简单易行程清晰，简单易行 谢谢大家观赏！ 第九组：陈会敏 韩晓明 张永胜
