《三维信息获取和环境地图表示》由会员分享，可在线阅读，更多相关《三维信息获取和环境地图表示（23页珍藏版）》请在金锄头文库上搜索。
1、三维信息获取和环境地图表示4.14.1投影矩阵的求解原理投影矩阵的求解原理4.24.2空间点云重建和纹理映射空间点云重建和纹理映射投影矩阵求解原理：投影矩阵求解原理：假设移动机器人在移动时前后两帧的投影矩阵为假设移动机器人在移动时前后两帧的投影矩阵为 和和 ，则，则 , , 称称 为摄影机的基础矩阵。为摄影机的基础矩阵。 投影矩阵的推导：投影矩阵的推导：透视投影变换是在齐次坐标下进行的，透视投影变换是在齐次坐标下进行的，对于一个向量对于一个向量v v以及基以及基oabcoabc，可以找到一组坐标可以找到一组坐标(v1,v2,v3)(v1,v2,v3)，使得，使得v v = v1= v1 a a
2、 + v2+ v2 b +b + v3v3 c c （1 1）而对于一个点而对于一个点p p，则可以找到一组坐标（，则可以找到一组坐标（p1,p2,p3p1,p2,p3），使得），使得p p o o = p1= p1 a +a + p2p2 b b + p3+ p3 c c （2 2）p p = = o o + p1+ p1 a +a + p2p2 b b + p3+ p3 c (3)c (3)我们现在把（我们现在把（1 1）（）（3 3）写成矩阵的形式：）写成矩阵的形式：这样，向量和点在同一个基下就有了不同的表达：这样，向量和点在同一个基下就有了不同的表达：3D3D向量的第向量的第4 4个代
3、数分量是个代数分量是0 0， 而而3D3D点的第点的第4 4个代数分量是个代数分量是1 1。像这种这种用。像这种这种用4 4个代数分量表示个代数分量表示3D3D几何概念的方式几何概念的方式 是一种齐次坐标表示。是一种齐次坐标表示。线性插值线性插值由一个数域映射到另一个数域时由一个数域映射到另一个数域时, ,如果两个数域都是线性如果两个数域都是线性, ,那么它们的对应点成那么它们的对应点成 比例比例. .例如：已知有一破温度计例如：已知有一破温度计( (何以谓破何以谓破? ?刻度之间间距虽平均刻度之间间距虽平均, ,但间距或大于或小但间距或大于或小 于标准值于标准值, ,谓之破谓之破),),当其
4、插入当其插入0 0 摄氏度水里时显示为摄氏度水里时显示为5 5摄氏度摄氏度, ,当其插入当其插入100100摄氏摄氏 度的沸水中时显示为度的沸水中时显示为9090摄氏度摄氏度, ,问问: :当实际水温为当实际水温为5050摄氏度时，此破温度计显示摄氏度时，此破温度计显示 的值是多少的值是多少? ?解解: :因刻度均匀因刻度均匀, ,所以刻度之间的比例与好温度计相同所以刻度之间的比例与好温度计相同, ,由此由此: :设显示的数为设显示的数为T,T,(90-T)/(T-5)=(100-50)/(50-0) (90-T)/(T-5)=(100-50)/(50-0) 解出解出T=47.5T=47.5
5、0C.0C.透视投影变换这里我们选择OpenGL的透视投影变换进行分析，其他的APIs(应用程序编程接 口)会存在一些差异，但主体思想是相似的，可以类似地推导。OpenGL：（全写Open Graphics Library）是个定义了一个跨编程语言、跨平 台的编程接口规格的专业的图形程序接口。它用于三维图像（二维的亦可）， 是一个功能强大，调用方便的底层图形库。OpenGLOpenGL里的视锥体图形里的视锥体图形透视投影变换由两步组成：透视投影变换由两步组成：1 1） 用透视变换矩阵把顶点从视锥体中变换到裁剪空间的用透视变换矩阵把顶点从视锥体中变换到裁剪空间的CVVCVV（规则观察体）（规则观
6、察体） 中。中。2 2） CVV CVV裁剪完成后进行透视除法。裁剪完成后进行透视除法。设设P(x,z)P(x,z)是经过相机变换之后的点，视锥体由是经过相机变换之后的点，视锥体由eyeeye眼睛位置，眼睛位置，npnp近裁剪平面，近裁剪平面，fpfp远裁剪平面组成。远裁剪平面组成。N N是眼睛到近裁剪平面的距离，是眼睛到近裁剪平面的距离，F F是眼睛到远裁剪平面的距离。是眼睛到远裁剪平面的距离。投影面可以选择任何平行于近裁剪平面的平面，这里我们选择近裁剪平面作为投影平投影面可以选择任何平行于近裁剪平面的平面，这里我们选择近裁剪平面作为投影平 面。设面。设P(x,z)P(x,z)是投影之后的点
7、，则有是投影之后的点，则有z = -Nz = -N。完成投影。完成投影。透视除法。透视除法。机器人双目立体视觉若干关键理论问题及其技术实现研究第第1 1章，回顾了计算机视觉理论研究的发展历程，调研了国内外双章，回顾了计算机视觉理论研究的发展历程，调研了国内外双 目立体视觉理论研究和技术应用的现状，以立体视觉为重点分析了目立体视觉理论研究和技术应用的现状，以立体视觉为重点分析了 双目立体视觉的应用前景，探讨了相关研究的关键技术和存在的问双目立体视觉的应用前景，探讨了相关研究的关键技术和存在的问 题，阐明了本课题的研究意义、研究难点和研究内容。题，阐明了本课题的研究意义、研究难点和研究内容。视觉是
8、一个古老的研究课题。人类视觉过程可以看作是一个从感觉到知觉的复视觉是一个古老的研究课题。人类视觉过程可以看作是一个从感觉到知觉的复 杂过程，从狭义上说视觉的最终目的是要对场景作出对观察者有意义的解释和杂过程，从狭义上说视觉的最终目的是要对场景作出对观察者有意义的解释和 描述描述; ;从广义上说是根据周围的环境和观察者的意愿，在解释和描述的基础上从广义上说是根据周围的环境和观察者的意愿，在解释和描述的基础上 作出行为规划或行为决策。作出行为规划或行为决策。计算机视觉研究的发展：最早可以追溯到计算机视觉研究的发展：最早可以追溯到2020世纪世纪5050年代年代 2020世纪世纪8080年代年代 初
9、期有了初步的发展初期有了初步的发展 到了到了2020世纪世纪8080年代中期，计算机视觉获得了蓬勃年代中期，计算机视觉获得了蓬勃 的发展的发展 进入进入2020世纪世纪9090年代，出现了低功耗和低成本的年代，出现了低功耗和低成本的CMOSCMOS图像传感器图像传感器 ，其独特的优点在使其在计算机视觉中得到了广泛的应用。同时，随着专用视，其独特的优点在使其在计算机视觉中得到了广泛的应用。同时，随着专用视 频解码芯片和现场可编程逻辑门阵列频解码芯片和现场可编程逻辑门阵列(FPGA)(FPGA)芯片的出现，使得图像采集系统到芯片的出现，使得图像采集系统到 计算机的实时图像数据传输成为可能。计算机的
10、实时图像数据传输成为可能。 双目立体视觉技术研究与应用现状一个完整的双目立体视觉技术实现可以分为：一个完整的双目立体视觉技术实现可以分为：图像获取三维重建立体匹配特征提取摄像机标定图像获取摄像机标定摄像机标定的研究现状摄像机标定起源于摄影测量学。摄影测量学中使用的方法是数学解析分析的方摄像机标定起源于摄影测量学。摄影测量学中使用的方法是数学解析分析的方 法，在标定过程中通常要利用数学方法对从数字图像中获得的数据进行处理。法，在标定过程中通常要利用数学方法对从数字图像中获得的数据进行处理。传统的标定方法传统的标定方法摄像机标定方法：摄像机标定方法： 自标定方法自标定方法基于主动视觉的标定方法基于
11、主动视觉的标定方法（1 1）传统的标定的方法和理论都比较成熟。）传统的标定的方法和理论都比较成熟。优点：优点：可以使用任意的摄像机模型，标定精度高，适合精度要求很高的应可以使用任意的摄像机模型，标定精度高，适合精度要求很高的应 用场合。用场合。主要方法：主要方法：非线性优化法、直接线性变换法、两步法、平面模板法和双平非线性优化法、直接线性变换法、两步法、平面模板法和双平 面法等。面法等。（2 2）自标定方法）自标定方法不需要利用标准的标定物来得到准确的三维信息，只需控制摄像机的运动来不需要利用标准的标定物来得到准确的三维信息，只需控制摄像机的运动来 获得图像序列，通过从图像序列的匹配信息得到约
12、束关系来计算摄像机模型参获得图像序列，通过从图像序列的匹配信息得到约束关系来计算摄像机模型参 数。数。优点：只需建立图像与图像间的相互对应关系，具有很强的灵活性。优点：只需建立图像与图像间的相互对应关系，具有很强的灵活性。缺点：标定过程比较复杂，不适于对实时性有较强要求的场合。此外，自标定缺点：标定过程比较复杂，不适于对实时性有较强要求的场合。此外，自标定 法采用的是非线性优化算法求解，对初值估计的依赖性较强，导致其鲁棒性不法采用的是非线性优化算法求解，对初值估计的依赖性较强，导致其鲁棒性不 好，只适于对标定精度要求不是很高的应用场合。好，只适于对标定精度要求不是很高的应用场合。主要方法：绝大
13、多数是基于绝对二次曲线主要方法：绝大多数是基于绝对二次曲线(the (the Absolute Absolute Conic)Conic)或其对偶绝对或其对偶绝对 二次曲面二次曲面(the Absolute Quadric)(the Absolute Quadric)的方法。的方法。（3）基于主动视觉的标定方法基于主动视觉的标定方法这里的主动视觉系统是指首先将摄像机精确的安装在可以控制的操作平台上，这里的主动视觉系统是指首先将摄像机精确的安装在可以控制的操作平台上， 然后通过控制平台作特定的运动来使摄像机拍摄多幅图像，最后利用图像和摄然后通过控制平台作特定的运动来使摄像机拍摄多幅图像，最后利用
14、图像和摄 像机的运动参数来获得摄像机的内部参数以及外部参数。像机的运动参数来获得摄像机的内部参数以及外部参数。主要方法：包括基于纯平移运动与墓于纯旋转运动的两种标定算法。主要方法：包括基于纯平移运动与墓于纯旋转运动的两种标定算法。缺点：成本高；对摄像机的运动情况有约束。缺点：成本高；对摄像机的运动情况有约束。图像立体匹配的研究现状图像立体匹配的研究现状立体匹配解决的是对于同一空间景物上的一点在参考图像上的投影点如何在匹立体匹配解决的是对于同一空间景物上的一点在参考图像上的投影点如何在匹 配图像上找到其对应点的问题。配图像上找到其对应点的问题。基于局部的立体匹配算法基于局部的立体匹配算法分类：分
15、类： 基于全局的立体匹配算法基于全局的立体匹配算法基于半全局的立体匹配算法基于半全局的立体匹配算法（1 1）基于局部的立体匹配算法：利用对应点本身以及邻近的局部区域的约束）基于局部的立体匹配算法：利用对应点本身以及邻近的局部区域的约束 信息。信息。优点：计算效率高，在高纹理区域能够很快的得到视差图优点：计算效率高，在高纹理区域能够很快的得到视差图缺点：在遮挡区域和视差不连续区域的匹配精度不高，易产生误匹配缺点：在遮挡区域和视差不连续区域的匹配精度不高，易产生误匹配（2 2）基于全局的立体匹配算法：基于全局的立体匹配算法：优点：一般能获得精度较高的视差图优点：一般能获得精度较高的视差图缺点缺点: :相应的参数设置较难而且复杂度也较高，实时性不是很强相应的参数设置较难而且复杂度也较高，实时性不是很强立体匹配算法存在各自的优缺点，研究学者对其的研究也是针对不同的需求选立体匹配算法存在各自的优缺点，研究学者对其的研究也是针对不同的需求选 择不同的算法进行研究。其中一些经典算法已经比较成熟，应用也比较广泛。择不同的算法进行研究。其中一些经典算法已经比较成熟，应用也比较广泛。 除此之外，还有学者陆续提出一些新的算法。除此之外，还有学者陆续提出一些新的算法。我们
