《图像理解之立体视觉(共36页)》由会员分享，可在线阅读，更多相关《图像理解之立体视觉(共36页)（35页珍藏版）》请在金锄头文库上搜索。
1、第1页第4讲第2页第4讲第5章立体视觉：双目5.1 立体视觉5.2 双目成象和视差5.3 基于区域的双目立体匹配5.4 基于特征的双目立体匹配5.5 视差图误差检测与校正第3页第4讲 立体视觉主要研究如何借助（多图象）成象技术从（多幅）图象里获取场景中物体的距离（深度）信息 5.1.1立体成象方式 5.1.2立体视觉模块 5.1立体视觉 第4页第4讲5.1.2立体视觉模块六个模块 六项工作1.摄象机标定2.图象获取3.特征提取 立体视觉借助不同观察点对同一景物间的视差来帮助求取3-D信息（特别是深度信息）。所以需要判定同一景物在不同图象中的对应关系选择合适的图象特征以进行多图象间的匹配 第5页
2、第4讲5.1.2立体视觉模块六个模块 六项工作4.立体匹配 根据对所选特征的计算来建立特征间的对应关系，从而建立同一个空间点在不同图象中的象点之间的关系，并由此得到相应的视差图象5.3-D信息恢复 根据得到的视差图象，可以进一步计算深度图象，并恢复场景中的3-D信息 第6页第4讲5.1.2立体视觉模块六个模块 六项工作6.后处理 3-D信息常不完整或存在一定的误差(1)深度插值 只能恢复出图象中特征点处的视差值 (2)误差校正（见后）(3)精度改善象素级视差到亚象素级的视差 第7页第4讲获得同一场景的两幅视点不同的图象 5.2.1双目横向模式 5.2.2双目横向会聚模式 5.2.3双目纵向模式
3、5.2双目成象和视差 第8页第4讲5.2.1双目横向模式 摄象机坐标系统和世界坐标系统重合 象平面与世界坐标系统的XY平面也是平行 两个镜头中心间的连线称为系统的基线B 第9页第4讲 1.视差和深度5.2.1双目横向模式 第10页第4讲 1.视差和深度 3-D空间点在两个摄象机的公共视场 （视角不同，被摄物的形状，摄影环境） 测距精度 x1e = x1 + e，d1e = x1 + e + x2 + B = d + e 5.2.1双目横向模式 第11页第4讲2.角度扫描成象 象素是按镜头的方位角和仰角均匀分布的 可借助镜头的方位角来表示物象的空间距离 5.2.1双目横向模式 第12页第4讲两个
4、单目系统绕各自中心相向旋转 5.2.2双目横向会聚模式 第13页第4讲两个摄象机是沿光轴线依次排列 基本排除由于遮挡造成的3-D空间点仅被一个摄象机看到的问题 公共视场的边界很容易确定 5.2.3双目纵向模式 第14页第4讲直接用单点灰度搜索会受到图象中许多点会有相同灰度、图象噪声等因素影响而不实用5.3.1模板匹配 5.2.2双目立体匹配 5.3基于区域的双目立体匹配 第15页第4讲5.3.1模板匹配相关函数 对f (x, y)和w(x, y)幅度值的变化比较敏感 相关系数 第16页第4讲5.3.2双目立体匹配1.极线约束 C和C“之间的连线称光心线，光心线与左右象平面的交点E和E”分别称为
5、左右象平面的极点光心线与物点W在同一个平面中，这个平面称为极平面，极平面与左右象平面的交线L和L分别称为物点W在左右象平面上投影点的极线第17页第4讲5.3.2双目立体匹配2.匹配影响因素 (1)由于景物自身形状或景物互相遮挡的原因，用左图象确定的某些模板不一定能在右图象中找到完全匹配的位置。此时常需根据其他匹配位置的匹配结果来插值这些无法匹配点的数据(2)不同模板图象应有不同模式。但在平滑区域得到的模板图象具有相同或相近的模式，使匹配有不确定性，并导致产生误匹配。此时可需要将一些随机的纹理投影到这些表面上以将平滑区域转化为纹理区域 第18页第4讲5.3.2双目立体匹配3.光学特性计算利用灰度
6、信息进一步计算物体表面的光学特性N为表面面元法线方向的单位向量S为点光源方向的单位向量V为观察者视线方向的单位向量反射亮度I(x, y)为合成反射率 (x, y)和合成反射量RN(x, y)的乘积 第19页第4讲5.3.2双目立体匹配3.光学特性计算第一项散射效应，第二项镜面反射效应H为镜面反射角方向的单位向量向量H反映出视线向量V的变化 第20页第4讲5.4基于特征的双目立体匹配基于区域方法的缺点是依赖于图象灰度的统计特性，所以对景物表面结构以及光照反射等较为敏感 5.4.1基本方法5.4.2动态规划匹配第21页第4讲5.4.1基本方法典型方法的主要步骤(1)用边缘检测寻找物体的轮廓线，并在
7、轮廓线上确定特征点(2)利用立体匹配方法匹配各特征点(3)对匹配点求视差，获取匹配点的深度(4)利用获得的匹配点进行深度插值，以进一步得到其它各点的深度第22页第4讲5.4.1基本方法3-D空间坐标中一个特征点W(x, y, z)通过正交投影后在左右图上分别为：按先平移再旋转的坐标变换对u计算 第23页第4讲5.4.1基本方法平行于XZ平面的一个平面图 ：第24页第4讲注意：仅由稀疏的匹配点并不能唯一地恢复物体外形示例：过这4个点的曲面可以有无穷多个 5.4.1基本方法第25页第4讲顺序性约束：物体可见表面上的特征点与它们在两幅成象图象上投影的顺序正好反过来有遮挡时，图象上投影的顺序不满足顺序
8、性约束5.4.2动态规划匹配第26页第4讲建立在两条极线上确定的多个特征点之间的对应关系将匹配各特征点对的问题描述为一个在由特征点对应结点的图（graph）上搜索最优路径的问题 5.4.2动态规划匹配第27页第4讲5.5视差图误差检测与校正 视差图产生误差周期性模式、光滑区域的存在，以及遮挡效应、约束原则的不严格性，等等通用快速的视差图误差检测与校正算法直接对视差图进行处理 与产生该视差图的具体立体匹配算法独立计算量仅仅与误匹配象素点的数量成正比 第28页第4讲1.误差检测顺序匹配约束 5.5视差图误差检测与校正 对点P和Q的Z坐标的限制 第29页第4讲1.误差检测 检测匹配交叉（顺序匹配约束
9、未满足）区域令PR = fR(i, j)和QR = fR(k, j)为fR(x, y)中第j行中任意两象素，则其在fL(x, y)中的匹配点可分别记为PL = fL(i + d(i, j), j)和QL = fL(k + d(k, j), j)。定义C(PR, QR)为PR和QR间的交叉标号，如果顺序匹配约束满足记为C(PR, QR) = 0；否则记为C(PR, QR) = 1。对应象素点PR的交叉数（cross number）Nc5.5视差图误差检测与校正 第30页第4讲2.误差校正 假设fR(i, j)| i p, q是对应PR的交叉区域，则该区域内所有象素点的总交叉数（total cro
10、ss number）Ntc为：校正交叉区域中误匹配点（零交叉校正算法 ）(1)找出具有最大交叉数的象素fR(l, j)： 5.5视差图误差检测与校正 第31页第4讲2.误差校正 (2)确定对匹配点fR(k, j)的新搜索范围fL(i, j)| i s, t (3)从该搜索范围中找到能够减小总交叉数Ntc的新匹配点 (4)用新匹配点来校正d(k, j)，消除对应当前最大交叉数象素的误匹配 5.5视差图误差检测与校正 第32页第4讲2.误差校正 例 5.5视差图误差检测与校正 第33页第4讲2.误差校正交叉区域：fR(154, j), fR(162, j) 总交叉数：Ntc 28 (1)具有最大交
11、叉数的象素：fR(160, j) (2)新匹配点 fR(160, j)的搜索范围为：fL(i, j)| i 181, 190 5.5视差图误差检测与校正 第34页第4讲2.误差校正(3)对应fR(160, j)且能够减小Ntc的新匹配点fL(187, j) (4)将对应fR(160, j)的视差值d(160, j)校正为 d(160, j) = XfL(187, j) XfR(160, j) = 27 5.5视差图误差检测与校正 第35页第4讲F 通信地址：北京清华大学电子工程系F 邮政编码：100084F 办公地址：清华大学东主楼，9区307室F 办公电话：(010)62781430F 传真号码：(010)62770317F 电子邮件：F 个人主页： 实验室网：联 系 信 息
