《3D感知与目标位姿计算PPT课件》由会员分享，可在线阅读，更多相关《3D感知与目标位姿计算PPT课件（54页珍藏版）》请在金锄头文库上搜索。
1、Chapter 10 3D Sensing and Object Pose Computation 3D感知与目标位姿计算感知与目标位姿计算1举例举例多多摄摄像像机机测测量系统量系统通通过过计计算算机机视视觉觉来来识识别别目目标标并并确定目标位置确定目标位置2通过立体视觉求深度通过立体视觉求深度放放置置两两台台摄摄像像机机，使使它它们们的的X轴轴重重合合，Y轴轴和和Z轴轴分分别别相相互互平平行行。Y轴轴垂垂直直于于纸纸面面。右右侧侧摄摄像像机机的的原原点点或或投投影影中中心心的的偏偏移移量量为为b，b是是立立体体视视觉觉系系统统的的基基线线(baseline)。目目标标点点P在在左左图图像像中
2、中对对应应点点为为Pl，在在右右图图像像中中对对应应点点为为Pr，可可以以确确定定点点P位位于于光光线线LPl和和RPr的的交交点处。点处。根据相似三角形：根据相似三角形：3通过立体视觉求深度通过立体视觉求深度因为坐标因为坐标yl和和yr相同。所以点相同。所以点P的两个未知坐标的两个未知坐标x和和z可以表示为：可以表示为：d=xl-xr定定义义：当当同同一一个个3D点点投投影影到到不不同同的的两两台台摄摄像像机机图图像像上上时时，对对应应点在图像上的位置差称为点在图像上的位置差称为视差视差(disparity)。注注意意：到到点点P的的距距离离随随着着视视差差的的减减小小而而增增加加，随随着着
3、视视差差的的增增大大而而减小。随着视差趋近零时，距离趋近无穷。减小。随着视差趋近零时，距离趋近无穷。4建立对应关系建立对应关系1）交叉相关）交叉相关 对对于于已已知知图图像像I1(立立体体图图像像对对中中的的第第一一幅幅图图像像)中中的的点点P1，假假设设在在图图像像I2(立立体体图图像像对对中中第第二二幅幅图图像像)中中存存在在某某个个固固定定区区域域，在该区域中一定可以找到与在该区域中一定可以找到与P1对应的点对应的点P2. 区域的大小区域的大小由拍摄这些图像的摄像机设备信息决定。由拍摄这些图像的摄像机设备信息决定。对对于于图图像像I1的的像像素素P1，搜搜索索I2上上的的选选定定区区域域
4、，对对P1和和P2的的邻邻域域进进行行交交叉叉相相关关运运算算，把把交交叉叉相相关关影影响响最最大大的的像像素素，作作为为P1的的最最佳佳匹匹配配点点，并并用用该像素寻找对应该像素寻找对应3D点的深度。点的深度。52）图符匹配和相关约束）图符匹配和相关约束 在在一一幅幅图图像像中中寻寻找找与与另另一一幅幅图图像像特特征征相相匹匹配配的的特特征征。典典型型特特征征有连接类型、线段或区域。有连接类型、线段或区域。 可可以以采采用用一一致致性性标标记记寻寻找找匹匹配配。部部件件集集合合P是是第第一一幅幅图图像像I1中中的的特特征征集集合合。标标记记集集L是是第第二二幅幅图图像像I2的的特特征征集集合
5、合。P上上的的空空间间关关系系RP要与要与L上的空间关系上的空间关系RL相同。相同。建立对应关系建立对应关系采用连接点关系对特征进行匹配采用连接点关系对特征进行匹配图图中中的的L连连接接和和箭箭头头连连接接是是可可能能的的匹匹配配点点。一一般般避避免免使使用用T连连接接，因因为为它它们们通通常常是是遮遮挡挡的的结结果果，而而不不是是3D结构的实际特征。结构的实际特征。62）图符匹配和相关约束）图符匹配和相关约束 存在问题：存在问题： 1) 并非第一幅图像中所有特征都可以在第二幅图像中检测到并非第一幅图像中所有特征都可以在第二幅图像中检测到. 2) 从从第第一一幅幅图图像像特特征征到到第第二二幅
6、幅图图像像特特征征映映射射后后，连连接接点点的的对对应应关系产生的是一个稀疏深度映射，不能完全表示三维信息关系产生的是一个稀疏深度映射，不能完全表示三维信息. 解决方法：解决方法： 1) 允允许许出出现现一一定定的的误误差差，寻寻找找一一种种最最小小误误差差映映射射，或或利利用用连连续续松弛法得到近似解松弛法得到近似解. 2) 在在求求得得的的稀稀疏疏深深度度映映射射点点上上进进行行线线性性插插值值运运算算，使使稀稀疏疏深深度度映射变得稠密映射变得稠密.建立对应关系建立对应关系73)外极线约束外极线约束 两两图图像像面面位位于于同同一一平平面面并并且且与与基基线线平平行行。已已知知图图像像I1
7、中中的的点点P1=(x1,y1)，则则图图像像I2中中的的对对应应点点P2=(x2,y2)将将与与P1位位于于相相同同的的扫扫描描线线上，也就是上，也就是y1=y2。这对图像为标准图像对。这对图像为标准图像对。建立对应关系建立对应关系标标准准图图像像对对的的外外极极线线几几何何。3D点点P在在图图像像I1中中的的投投影影为为P1，在在图图像像I2中中的的投投影影为为P2，二二幅幅图图像像位位于于同同一一平平面面，与与两两摄摄像像机机间间的的基基线线平平行行。光光轴轴垂垂直直于于基基线线并相互平行。并相互平行。83)外极线约束外极线约束 建立对应关系建立对应关系定定义义：包包含含3D点点P、两两
8、个个光光心心(或或摄摄像像机机)C1和和C2，以以及及P在在两两幅幅图图像像中中的的投投影影点点P1和和P2的的平平面面称称为为外外极面极面(epipolar plane).定定义义：外外极极面面与与两两幅幅图图像像平平面面I1和和I2的的交交线线e1和和e2称称为为外极线外极线(epipolar line).定义：定义：立体图像对的立体图像对的外极点外极点(epipole)就是所有外极线的交点就是所有外极线的交点.94）顺序约束）顺序约束l已知场景中两个点和它们在两幅图像中的投影点。已知场景中两个点和它们在两幅图像中的投影点。l如如果果这这两两点点位位于于场场景景中中的的连连续续表表面面上上
9、，那那么么在在每每幅幅图图像像中中，它们以相同的顺序位于外极线上。它们以相同的顺序位于外极线上。5）误差与场景覆盖）误差与场景覆盖l场景覆盖与计算深度误差间寻求平衡。场景覆盖与计算深度误差间寻求平衡。l如如果果基基线线很很短短，确确定定图图像像点点P1和和P2的的位位置置时时误误差差就就较较小小，但在计算但在计算3D点点P的深度时误差就较大。的深度时误差就较大。l增增大大基基线线可可以以改改进进搜搜索索精精度度，但但随随摄摄像像机机彼彼此此远远离离，图图像像点之间的对应关系将丢失。点之间的对应关系将丢失。l建议两台摄像机光轴间最好是建议两台摄像机光轴间最好是45度角。度角。建立对应关系建立对应
10、关系10一般体视结构一般体视结构两两台台摄摄像像机机C1和和C2观观察察相相同同的的3D工工作作区区。工工件件上上的的点点P在在第第一一幅幅图图像像中中的的投投影影为为1P，在在第第二二幅幅图图中中的的投影为投影为2P。两两台台摄摄像像机机观观察察工工作作台台上上相相同同的的工工件件区区时时，工工作作台台就就是是一一个个完完整的整的3D世界，并且有自己的世界坐标系世界，并且有自己的世界坐标系W。工工作作区区中中3D点点wP=wPx, wPy, wPz的的位位置置，可可以以通通过过两两条条投投影影线线wP1O和和wP2O的交点确定。的交点确定。11为了进行立体视觉计算，需要已知下列条件：为了进行
11、立体视觉计算，需要已知下列条件：l要要知知道道摄摄像像机机C1在在工工作作区区W中中的的位位姿姿，以以及及摄摄像像机机的的一一些些内内部部参参数数，如如焦焦距距。这这些些信信息息用用摄摄像像机机矩矩阵阵(camera matrix)来来表表示示，对对每每个个图图像像点点1P通通过过该该矩矩阵阵确确定定3D空空间间中的一条光线。中的一条光线。l要知道要知道C2在工作区在工作区W中的位姿以及它的内部参数。中的位姿以及它的内部参数。l要找出要找出3D点与两个点与两个2D图像点图像点(wP,1P,2P)之间的对应关系。之间的对应关系。l要有公式来计算两条投影线要有公式来计算两条投影线wP1O和和wP2
12、O的交点的交点wP。一般体视结构一般体视结构12基于多摄像机的基于多摄像机的3D点计算点计算根根据据两两个个像像点点r1,c1和和r2,c2算算出出未未知知的的3D点点x,y,z，两两个个像像点由标定好的两台摄像机摄取。点由标定好的两台摄像机摄取。去掉齐次坐标去掉齐次坐标s和和t,可以得到含可以得到含3个未知数的个未知数的4个线性方程。个线性方程。4个个方方程程中中任任意意3个个联联立立都都可可以以求求出出未未知知点点x,y,z，但但求求出出的的坐标值会产生微小的差异。坐标值会产生微小的差异。13问问题题：因因为为摄摄像像机机模模型型和和图图像像点点的的近近似似误误差差，两两台台摄摄像像机机的
13、的投影线并没有在数学的投影线并没有在数学的3D空间相交于一点。空间相交于一点。解解决决方方案案：计计算算这这两两条条空空间间斜斜交交投投影影线线之之间间的的最最短短距距离离，也也就是计算它们公垂线段的长度。就是计算它们公垂线段的长度。 如如果果公公垂垂线线比比较较短短，就就取取公公垂垂线线的的中中点点作作为为两两条条投投影影线线的的交交点点。如如果果公公垂垂线线比比较较长长，就就要要判判定定在在进进行行像像点点对对应应计计算算时时出出现了问题。现了问题。基于多摄像机的基于多摄像机的3D点计算点计算P1和和P2是是一一条条直直线线上上的的两两个个点点，而而Q1和和Q2是是另另外外一一条条直直线线
14、上上的的两两个个点点。u1和和u2是是沿沿两两条条直直线线的的单单位位向向量量。向向量量V=P1+a1u1-（Q1+a2u2）就就是是连连续续两两条条直直线线的的最最短短距距离离向向量量，其其中中a1和和a2是是两两个个要要确确定定的的比比例例系数。系数。14利利用用两两空空间间斜斜交交线线与与公公垂垂线线正正交交这这一一约约束束条条件件，可可以以得得到到2个含未知数个含未知数a1和和a2的线性方程：的线性方程：利用消元法或者行列式法可以很容易解出利用消元法或者行列式法可以很容易解出a1和和a2。如如果果sV小小于于某某个个阈阈值值，就就认认为为两两条条直直线线相相交交于于点点x,y,zt=(
15、1/2)(P1+a1u1)+(Q1+a2u2)。基于多摄像机的基于多摄像机的3D点计算点计算153D目标重建目标重建目标建模的过程可分为四个步骤：目标建模的过程可分为四个步骤： 1）3D数据获取数据获取 一一般般需需要要8-10张张不不同同角角度度的的视视图图来来获获得得一一系系列列物物体体表表面面的的深度数据。深度数据。 2）图像配准）图像配准 将深度数据转换到一个将深度数据转换到一个3D坐标系的过程为图像配准过程。坐标系的过程为图像配准过程。 3）表面重建）表面重建 将将3D点点云云用用3D网网格格及及格格点点间间联联系系表表示示；用用一一组组3D体体素素表表示示目标的整个体积。目标的整个
16、体积。 4）优化）优化 平滑表面等过程平滑表面等过程16视图配准视图配准问题提出：问题提出：为了覆盖物体的整个表面，必须根据多幅视为了覆盖物体的整个表面，必须根据多幅视图得到深度数据。图得到深度数据。解决方法：解决方法：视图视图1到视图到视图2的变换，要么通过精确的机械的变换，要么通过精确的机械运动得到，要么通过图像对应求出。运动得到，要么通过图像对应求出。从图像对应求取：从图像对应求取：相当于完成从一幅视图映射到另一幅相当于完成从一幅视图映射到另一幅视图的刚性变换。将其转换到同一坐标系下。视图的刚性变换。将其转换到同一坐标系下。 1）可以借助）可以借助3D特征如角点和线段特征自动完成，基于特
17、征如角点和线段特征自动完成，基于特征得到特征得到3D-3D的对应点，从而计算出变换关系。的对应点，从而计算出变换关系。 2）利用交互方式，允许用户在一对目标图像上选择对）利用交互方式，允许用户在一对目标图像上选择对应点。应点。17视图配准视图配准( (左左上上) )对对两两组组深深度度数数据进行配准据进行配准( (右右上上) )用用户户交交互互选选取取4 4个对应点个对应点( (右右下下) )存存在在少少量量偏偏差差的初始变换的初始变换( (左左下下) )几几次次迭迭代代后后，两两组组深深度度数数据据得得到到很很好的对齐好的对齐最最近近点点迭迭代代法法：得得到到初初始始变变换换，通通过过迭迭代
18、代方方法法，使使对对应应3D点点之之间间的的距离之和最小化。距离之和最小化。18表面重建表面重建目标：目标：希望重建目标与实际物体在外形上尽可能相似并且保希望重建目标与实际物体在外形上尽可能相似并且保持其拓扑结构。持其拓扑结构。(a)(a)配准的椅子深度数据配准的椅子深度数据(b)(b)重建过程出现的问题重建过程出现的问题(c)(c)具具有有正正确确拓拓扑扑结结构构的的粗粗略略网格模型网格模型19图片图片: 可以作为建模的灵感来源。可以作为建模的灵感来源。网络图片，单视角网络图片，单视角基于单幅图片的三维重建基于单幅图片的三维重建20基本流程基本流程21部件一致性分割部件一致性分割 Xu et
19、 al. 2010Input model setInput model setModels in part correspondenceModels in part correspondence预分析候选模型集预分析候选模型集22形变控制单元形变控制单元 Zheng et al. 2011控制单元控制单元: 长方形和广义圆柱体长方形和广义圆柱体相互关系相互关系: 对称对称, 连接连接, etc.预分析候选模型集预分析候选模型集23第一步第一步:模型驱动的图像空间结构分析模型驱动的图像空间结构分析基于单幅图片的三维重建基于单幅图片的三维重建24检索代表模型检索代表模型检索代表模型检索代表模型模型
20、驱动的标号分割模型驱动的标号分割模型驱动的标号分割模型驱动的标号分割图割法图割法模型驱动的特征空间结构分析模型驱动的特征空间结构分析25基于单幅图片的三维重建基于单幅图片的三维重建第二步第二步:候选模型检索候选模型检索26QueryQueryTop 5 retrieved resultsTop 5 retrieved results全局描述子检索全局描述子检索候选模型检索候选模型检索27QueryQueryTop 5 retrieved resultsTop 5 retrieved results部件级描述子部件级描述子 候选模型也可任意选择候选模型也可任意选择候选模型检索候选模型检索28关键
21、第三步关键第三步:轮廓驱动的结构保持形变轮廓驱动的结构保持形变基于单幅图片的三维重建基于单幅图片的三维重建29轮廓对应轮廓对应初始控制重初始控制重构构控制优化控制优化潜质几何形潜质几何形变变轮廓驱动的结构保持形变轮廓驱动的结构保持形变30轮廓对应轮廓对应初始控制重初始控制重构构控制优化控制优化潜质几何形潜质几何形变变轮廓对应轮廓对应31轮廓对应轮廓对应初始控制重初始控制重构构控制优化控制优化潜质几何形潜质几何形变变轮廓对应轮廓对应32轮廓对应轮廓对应初始控制重初始控制重构构控制优化控制优化潜质几何形潜质几何形变变轮廓对应轮廓对应33轮廓对应轮廓对应初始控制重初始控制重构构控制优化控制优化潜质几
22、何形潜质几何形变变轮廓驱动的结构保持形变轮廓驱动的结构保持形变34轮廓驱动的结构保持形变轮廓驱动的结构保持形变轮廓对应轮廓对应初始控制重初始控制重构构控制优化控制优化潜质几何形潜质几何形变变35轮廓对应轮廓对应初始控制重初始控制重构构控制优化控制优化潜质几何形潜质几何形变变Before optimizationAfter optimization轮廓驱动的结构保持形变轮廓驱动的结构保持形变36轮廓对应轮廓对应初始控制重初始控制重构构控制优化控制优化潜质几何形潜质几何形变变Before optimizationAfter optimizationFinal geometry轮廓驱动的结构保持形变
23、轮廓驱动的结构保持形变37Initial controller reconstructionFront-view结构优化结构优化38单独控制对称单独控制对称交互控制对称交互控制对称邻近约束邻近约束最初构造最初构造iterative最终结构最终结构结构优化结构优化39结果结果40?结果结果41原始数据原始数据噪声点云数据噪声点云数据未分割未分割有遮挡有遮挡工具工具: Microsoft Kinect实时实时提供深度和图像信息提供深度和图像信息 小而便宜小而便宜42数据获取数据获取42学习学习: 利用多角度拍摄结果学习基本模型利用多角度拍摄结果学习基本模型translationalrotation
24、al43室内场景重构室内场景重构识别识别: 用学习到的模型在场景中识别物体用学习到的模型在场景中识别物体4344室内场景重构室内场景重构-学习阶段学习阶段学习学习: 利用多角度拍摄结果学习基本模型利用多角度拍摄结果学习基本模型 用不同基元进行基本模型表示用不同基元进行基本模型表示44基元基元长方体、圆柱体、辐射状构造长方体、圆柱体、辐射状构造连通性连通性刚性刚性旋转旋转平移平移附属附属关系关系位置信息位置信息contacttranslationalrotational45基本模型表示基本模型表示45地平面和书桌地平面和书桌物体物体单独聚类单独聚类部件部件通过一致性分类通过一致性分类分割与其类似
25、，后面还需修正分割与其类似，后面还需修正46点云数据分层表示点云数据分层表示46初始分配部件初始分配部件 vs. 基元基元简单的对比高度，法矢量，大小简单的对比高度，法矢量，大小鲁棒的形变鲁棒的形变低漏报低漏报精细分配部件精细分配部件 vs. 模型模型迭代的解决位置、形变和分割迭代的解决位置、形变和分割低漏报低漏报parts47室内场景重构室内场景重构-识别阶段识别阶段47初始分配部件初始分配部件 vs. 基元节点基元节点精细分配部件精细分配部件 vs. 模型模型Input pointsInitial objectsModels matchedRefined objectsobjects pa
26、rtsmatched48室内场景重构室内场景重构-识别阶段识别阶段48Recognition speed: about 200ms per object49合成场景合成场景4950合成场景合成场景5051合成场景合成场景51丢失数据丢失数据遮挡遮挡, , 材质材质, , 最初分割容易出错最初分割容易出错杂乱的目标被合并为一个物体杂乱的目标被合并为一个物体视角选择影响物体分割，在某个视角下，物体成视角选择影响物体分割，在某个视角下，物体成片状片状52限制限制52大作业大作业内容内容 根根据据自自己己兴兴趣趣，提提交交与与视视觉觉相相关关的的综综述述论论文文。比比如如可可以以写写图图像分割、三维建模的相关论文。像分割、三维建模的相关论文。提交作业形式提交作业形式 邮件附件要命名为邮件附件要命名为“学号学号+姓名姓名”。截止日期截止日期 2016年年07月月01日日提交邮箱提交邮箱 ; 53谢谢54
