《基于光流法的单目视觉里程计的研究》由会员分享，可在线阅读，更多相关《基于光流法的单目视觉里程计的研究（54页珍藏版）》请在金锄头文库上搜索。
1、 浙江大学硕士学位论文基于光流法的单目视觉里程计研究姓名:郑驰申请学位级别:硕士专业:信息与通信工程指导教师:刘济林2013-03-08 浙江大学硕士学位论文摘要摘要准确的实时定位对于自主导航系统至关重要,基于视觉方法的里程计逐渐成为自主定位的重要选择。由于大多数城市道路满足路面是平面的假设,所以采用单目视觉里程计是合理有效的。同时单目视觉里程计对于硬件要求低,处理速度快,可以满足实时的要求。光流法对于图像运动的估计已经可以满足一定的精度和稳定度的要求,特别是基于特征光流法的视觉里程计由于计算速度快,已经可以达到实际应用的要求。本文研究了单目视觉里程计的设计原理,对比了不同特征点算法的原理,同
2、时介绍了单目视觉里程计的设计特色。传统的单目视觉里程计是基于特征点匹配来设计的,具有对光照变化鲁棒、定位精度高的特点。但是缺点在于处理速度慢,无法做到实时定位。为了解决传统单目视觉里程计处理速度慢、无法实时定位的问题,本文将光流法引入到视觉里程计中,提出基于光流法的单目视觉里程计的基本实现原理,通过室内实验和室外实验,验证了不同光流法之间的精度。基于光流法的单目视觉里程计提高了平坦路面上机器人定位速度并且在一定程度上保证了定位的精度,但是对于出现光照变化强的路面,光流法的精度会有一定程度的下降。基于特征光流跟踪法具有较好的实时性,缺点在于定位精度略差。最后,提出一种融合光流法和特征点匹配算法的
3、单目视觉里程计,将光流法和传统特征点匹配算法进行卡尔曼融合。光流法对于帧间小位移的场景有着较高的定位精度,但是累积误差会随着移动总量的增加而不断增大。特征点匹配定位法精度较高,但定位频率低。两者具有较好的性能互补特性。融合光流法和特征点匹配算法相比较于传统的单目视觉里程计系统硬件要求低,计算时间短,鲁棒性更好,同时融合算法可以计算出中间结果,从而使得结果更光滑,位置信息更完整充分。关键词: 自主导航;单目视觉里程计;光流法;特征点匹配;卡尔曼融合?. .,., . .,. . .,. ,. .?., .浙江大学硕士学位论文 . , . . . ,.,.: ; ;浙江大学硕士学位论文致谢致谢光阴
4、荏苒,岁月如梭,转眼间漫长却又丰富的研究生生涯即将结束,我即将踏上另一段旅程。在毕业论文即将完成之际,回首过去二年半的学习生活,感慨良多,我得到了许多的关怀和帮助,现在我想向他们表达我最诚挚的谢意。首先,我要深深感谢我的导师刘济林教授。刘济林教授为人谦和,平易近人,同时知识渊博,治学严谨,对学生关爱有加。每当我在学和工作中遇到难题时,刘老师总会细心讲解和辅导,使我能够重新认识问题并且发散思维,找到解决问题的办法。刘老师严谨的学术作风和为人处事的积极态度给了我做人与工作的标尺,我自知不能达到老师的高度,不过,在今后的工作与学中定当以此作为目标从严要求自己。恩师学识渊博,见解深刻,思想睿智,在学术
5、上常给予我具有针对性的指导,时常令我茅塞顿开,受益匪浅。在生活上刘老师也时常能给予关心与照顾,使我们可以快乐地享受研究生生活,顺利完成学业。非常感谢项志宇老师对于我研究生阶段科研工作上的悉心指导。项老师为人热情,治学严谨,勤奋好学,对专业孜孜以求,精益求精;为人师表,率先垂范,我从项老师那里领略了真正的学术精神,项老师严谨的治学态度和坚韧的探索精神使我终生受益。十分感谢龚小谨老师对我科研上的帮助,龚老师为人诚恳,知识渊博,对科研工作敏锐的洞察能力是我辈学习的楷模。此外,我要感谢陈明芽、刘洋、王宁波、杨象军、万鹏、齐宝振、叶刚、胡玲玲、周圣贤作为同一届的硕士研究生所给予我的无私的帮助,我们共同努
6、力,共同进步,感谢你们对于我学、工作和生活上的关心和帮助,同时也感谢有你们一路的陪伴。还要感谢杨镔、王延长、陈乘师兄对于我科研道路上的帮助,另外特别感谢卢维在科研和生活中一直陪伴着我,走过最艰难的路。我还要感谢给我许多帮助并在科研道路上成为我的先行者的师兄师姐,丁菁汀、路丹晖、马丽莎、杨飞、欧阳柳、吴青松、陈国赞。以及和我一起工作学过的师弟师妹,程健、刘俊义、宣森焱等,和你们在一起的时光给我留下了美好浙江大学硕士学位论文 致谢的回忆。最后我要深深的感谢我的父母二十多年来对我生活和学习上的无私奉献和备至关怀,他们的爱是我不断努力和前行的动力和源泉。我要特别感谢我的女友霍慧美,是她的关心和爱护,才
7、让我有勇气去攀登高峰,不断进步,我坚信我们将一起书写我们幸福的一页。郑驰年月于求是园绪论浙江大学硕士学位论文第章绪论.课题背景自主定位是机器人自主导航系统的核心组成部分。通过高精度的自主定位,机器人可以完成许多上层任务,比如障碍物探测躲避、路径规划、自主导航、自主行驶等等。目前,对于室外机器人,最流行的定位探测器是全球定位系统。一个实时的差分定位系统在有足够多的卫星的情况下误差为。但是定位可能由于建筑物的遮挡或者可利用的卫星数量不足而导致不能使用或精度很低。轮式里程计由于其实现简单而被广泛地应用于机器人定位系统中。但是,由于车轮会发生打滑的现象,轮式里程计会出现定位不准和错误累积的问题。除此之
8、外,轮式里程计需要依靠精密的构建车轮的数学模型。以上这些因素促使我们必须寻找一种基于局部环境信息的方法来实现自主定位。近些年,由于相机系统成本的降低和计算机硬件性能的提升,使得计算机可以实时地处理高分辨率的图片。视觉里程计】是一种仅仅利用摄像机采集到的图片来估计出相对运动的计算机视觉的方法。相比较于传统的轮式里程计,视觉里程计不需要精确的构造车轮模型,并且侧滑的影响也是不存在的。同时在没有卫星的条件下,机器人可以通过视觉的方法实现定位【】目前,光流法是计算机视觉中分析图像运动的重要方法。当物体在运动时,图像中对应点的亮度模式也在运动。这种像素点周围亮度的运动模式就是光流。由光流的定义可以延伸出
9、光流场的定义,它是指图像中所有的像素点的运动速度构建的一个速度场。经过将近年的发展,光流法在图像分割、物体识别、跟踪等方面都有多种应用。并且由于计算速度快,基于光流法的视觉里程计已经可以达到实时计算的要求。本文专注于单目视觉里程计是由于光流法只应用一系列连续图像而不需要左右两幅图像,并且单目视觉系统以其简单的硬件实现能够降低自主机器人定位系统的成本和尺寸。本文将从光流法与特征点匹配算法出发,着重研究基于光流法的单目视觉里程计算法,包括光流的计算,特征点匹配算法和融合光流和特征绪论浙江大学硕士学位论文点匹配算法研究,对于实现快速视觉里程计具有一定指导意义。.国内外发展现状图像序列的光流计算是计算
10、机视觉领域内的重要组成部分,对于机器人的运动估计有着重要的指导意义。经过将近年的发展,光流法对于图像运动的估计已经可以满足比较高的精度和稳定度的要求。并且由于计算速度快,基于光流法的视觉里程计已经可以达到实际应用的要求。.单目视觉里程计技术的研究状况单目视觉里程计采用单目摄像机,相比较于双目立体视觉里程计,设备要求低,成本投入少。在城市化道路环境中,大部分的路面满足平面的要求,所以在这种场景中,采用单目视觉里程计是合理有效地,同时单目视觉里程计对于硬件要求低,处理速度快,可以满足实时性的要求口。由于单目视觉里程计的诸多优点,国内外的专家学者对于这方面做了大量的研究。】等学者提出一种应用单目摄像
11、机和自然路标的机器人实时定位方法。机器人首先认为操控行驶在一条预定路线上同时拍摄视频序列,然后基于视频序列生成三维地图,最后机器人利用三维地图实时计算自己位置口。通过两年的实验数据采集及分析,结果证明这种方法有着较高的准确性和鲁棒性。 】等学者提出一种解决基于平面假设单目视觉里程计的尺度问题的方法。在假设地面是个平面后,文献中通过标定相机的高度和姿态之后,可以解决单目视觉里程计中的尺度问题。这个算法基于对图像中特征点的跟踪来估计相机的移动,并且实时地更新尺度因子,从而估计图像中像素点和真实场景中的三维点的关系,结果证明本算法有效地解决了单目视觉里程计的尺度问题。但这种算法的计算量大,计算时间长
12、,并且要求所拍摄路面为平面,起伏角度不能太大。 和提出一种基于.转换的单目视觉里程计,这种算法利用转换和相位匹配滤波器来提取相似的运动参数,通过将这些参数反投影到三维世界中来恢复机器人的位置信息。结果表明这种算法相比较于传统单目视觉里程计更加鲁棒,精度更高。丝笙塑望奎兰堡圭堂垡笙茎等人设计了一种基于实时定位的视觉里程计系统,他们的设计是通过单目摄像机采集图像来完成的。通过视频序列的计算,完成对机器人的运动估计和定位导航。他们提出的算法主要分为三步:特征点提取,特征点匹配和三维世界运动估计。首先对于特征点的提取,采用的是角点提取算法;其次,进行特征点匹配,利用视差约束与交互匹配算法减少误配;最后
13、,对于运动参数的估计,采用点法和方法进行估计,完成机器人的定位。.光流技术的发展近年来,光流技术还处在不断发展过程中,国内外许多学者提出许多新的光流计算方法。同时对于既有的光流计算方法,分析其优势并且改进缺陷,也是目前光流技术发展的趋势。光流是指在图像在灰度模型下的运动速度,体现了图像二维的灰度变化信息与三维场景中物体运动结构的关系。光流法是应用像素的灰度时域变化以及二维图像与三维场景中的投影关系来表征物体在三维世界中的运动过程。光流场是图像上所有光流点运动的集合,是一种二维的瞬时速度场。研究光流计算的主要目的就有从图像中二维运动近似恢复出物体在三维世界中的运动过程。研究光流的意义在于,光流计
14、算在许多机器视觉应用领域都有广泛地应用前景。在机器视觉领域中,光流是一种较为高层的系统输入,在许多机器视觉应用中发挥着极其重要的作用,比如目标前景背景分割,目标识别与跟踪、机器人定位与导航系统以及三维场景恢复等任务。近年来,将光流法应用于视觉里程计中是国内外一些专家学者的研究重点。将传统的光流法加以改进并创新了一系列新方法,促进了光流法的发展。张永亮妇等提出一种改进的.算法,首先,计算跟踪置信度因子;然后,通过阈值检测剔除不可靠的光流估计结果;最后进行邻域填充。该方法改善了对于纹理不丰富区域的光流估计,提高了运动估计的结果。潘金山等学者提出一种估计运动细节的方法。该方法针对现有的光流方法在处理
15、大位移和估计运动图像细节方面存在的问题,提出一种结合图像细节特征的变分光流场的模型。实验绪论浙江大学硕士学位论文表明这种方法有效地提高了光流法在处理以上两种问题的结果。等学者创建了一个光流法的数据库,并且提出一种光流法的评估方法。这些学者用定量的方法来评估光流法的效果,这是光流法评估方法的一个显著的创新。】等学者提出一种新的方法来测量车体的侧滑指数和车体的运动速度。.光流的计算方法光流在机器视觉领域中有非常重要的作用。使用最为广泛地是基于微分法和区域匹配法,也是本文中主要应用的光流计算方法。.微分法微分法又称为时空梯度法,是通过利用时变图像的灰度时空微分,计算图像中像素点的速度矢量。设,为,时
16、刻图像上一点的灰度值;材,分别为该点沿着方向和方向上两个分量,定义约束方程为:“, 或者可以写成矢量的形式:知 .其中厶,分别为像素点的灰度在,三个方向的偏导数要求解约束方程仅通过和位置关系是不够的,需要个约束条件,所以增加约束条件的另一条途径是将对于速度的局部估计在空间上和时间上进行整合,以求解约束方程的基本解。其中比较经典的是算法,考虑速度场整体平滑约束条件,最后得到一个致密的光流场。微分法实现起来比较简单,计算复杂性比较低,运算速度比较快。但是对于图像的运动速度比较高的情况下,基于灰度保持的假设会出现比较大的误差。.区域匹配法区域匹配的实质是在图像序列之间产生一种对应关系,将光流计算转换为在不同时刻的图像区域内产生一个最佳的拟合位移【” 】 。对于图像上一点在周围选堑笙塑垩奎兰堡主兰竺笙奎取一块区域用于和另一幅图像上的某一块区域匹配,匹配区域之间的位移即为整体图像的光流。定义最小平方误差为:,【甜呵】嘶其中“,当计算出来两幅图像的最小平方误差小于某个阈值时,可确定两幅图像的相
