自运动估计系统和方法

上传人:ting****789 文档编号:310042279 上传时间:2022-06-14 格式:DOCX 页数:5 大小:22.57KB
返回 下载 相关 举报
自运动估计系统和方法_第1页
第1页 / 共5页
亲,该文档总共5页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述

《自运动估计系统和方法》由会员分享,可在线阅读,更多相关《自运动估计系统和方法(5页珍藏版)》请在金锄头文库上搜索。

1、自运动估计系统和方法专利名称:自运动估计系统和方法技术领域:本发明涉及自运动,更具体来说,涉及估计相机的运动参数。背景技术:自运动是指相机在一个环境内的三维移动。自运动估计是指基于由相机捕获的一 系列图像来估计相机在一个环境内的移动。自运动估计是计算机视觉领域,且尤其是在理 解并重建三维场景时的重要任务。对于移动机器(诸如,车辆和自导机器人)的基于计算 机视觉的操作来说,场景理解和重建很重要。为了理解或重建场景,可以利用计算机视觉技术来对场景的图像帧进行分割。然 而,当相机正在移动时,图像分割可能为一项艰巨的任务。图像分割技术必须考虑到相机的 移动,可以通过估计自运动作为预备步骤来实现。一种已

2、知的自运动估计方法辨认、追踪并匹配一系列图像帧中的特征点。然而,特 征跟踪可能在计算上的处理成本很高。另一种已知自运动估计方法依赖于图像帧中的地标,诸如路面上的车道标记或文 字。然而,在实践中,路面上的显著地标可能并不总是可用的。一种用于估计自运动的额外技术使用立体视觉。这种技术使用至少两个相机来获 得环境的图像帧。结果,所述立体视觉方法增加了自运动估计的硬件成本。因此,需要一种精确、快速并且计算成本低的方法来估计自运动。发明内容提供一种使用自运动估计系统来确定自运动参数的计算机实施方法。获得第一图 像帧和第二图像帧。选择所述第一图像帧的第一部分和第二图像帧的第二部分来分别获得 第一子图像和第

3、二子图像。对所述第一子图像和所述第二子图像中的每一者执行变换,以 分别获得第一透视图像和第二透视图像。以迭代方式调整所述第二透视图像以获得多个调 整后的透视图像。确定分别对应于所述第一透视图像与所述调整后的透视图像之间的对应 差别的多个差值。确定自运动参数的平移向量。所述平移向量对应于所述多个差值中的一 者。还提供一种用于确定自运动参数的系统。图像处理模块接收第一图像帧和第二图 像帧。图像分割模块选择所述第一图像帧的一部分和所述第二图像帧的一部分来分别获得 第一子图像和第二子图像。图像变换模块对所述第一子图像和所述第二子图像执行对应变 换,以分别获得第一透视图像和第二透视图像。运动补偿模块调整

4、所述第二透视图像以获 得调整后的透视图像。图像差别模块确定对应于所述第一透视图像与所述调整后的透视图 像之间的差别的差值。自运动参数确定模块以迭代方式获得分别对应于所述第一透视图像 与多个调整后的透视图像之间的对应差别的多个差值。所述自运动参数确定模块也确定自 运动参数的平移向量。所述平移向量对应于所述多个差值中的一者。通过参考以下附图可以更好地理解本发明。附图中的组件未必是按比例绘制,而重点在于说明本发明的原理。在诸图中,相同参考数字贯穿不同视图指代相应部件。图1是自运动估计系统的实施形式的实施例。图2是图像帧对的实施例。图3是图2的示例图像帧对的对应俯视透视图像。图4是在尚未执行运动补偿的

5、情况下图3的俯视透视图像的差别图像。图5是在已执行运动补偿的情况下图3的俯视透视图像的差别图像。图6是用于确定自运动参数的示例方法步骤的流程图。具体实施方式所描述的系统和方法可以用来确定相机的自运动参数。将在相机安装到车辆的背景下以举例方式描述所述系统和方法,所述相机捕获描绘车辆移动路径的图像帧。然而, 应理解,此申请中的教示可以应用于以相对较低的速度移动的任何装备有相机的移动机器 (例如,车辆、移动式机器人等)。在所示出的实施例中,相对较低的移动速度可以是大约10 公里每小时(km/h)至20km/h,或大约6. 2英里每小时(mph)至12. 4mph。自运动参数是指相机的行进距离和方向,

6、S卩,相机沿着水平和垂直移动路径移动了多远以及在哪个方向上移动。所述水平和垂直移动路径可以分别对应于X轴和y轴。因此,在此实施例中,自运动参数包括平移向量(tx,ty),该平移向量包括水平分量tx和垂直分量ty。水平分量tx和垂直分量ty分别界定沿着水平轴X和垂直轴y的平移(以图像像素为单位)。自运动参数也可以包括旋转角度。在计算机视觉应用中,可以估计自运动参数作为预备步骤,所述计算机视觉应用诸如相机辅助车辆导航(例如,停车、倒车、故障检测)、自导机器人导航、位姿估计和三维场景重建。一般来说,并且如下文更详细地论述,自运动估计系统通过比较由相机捕获的图像帧之间的差别来操作。举例来说,对于装备有

7、相机的车辆,自运动估计系统比较描绘车辆路径的一系列图像帧中的两个图像帧之间的差别,以便确定运动参数。在此实施例中,自运动估计系统使用相对较简单的算术运算(特别是加法和减法)来处理所述图像,这有利地使系统适合于使用专用硬件来实施,所述专用硬件诸如图形处理单元(GPU)和场可编程门阵列(FPGA)。在使用诸如这些硬件的专用硬件的实施形式中,可以相对快速地处理所述图像来确定运动参数。参看图1,示出自运动估计系统100的实施形式的实施例。在所示出的实施例中, 自运动估计系统100与图像捕获装置102和输出装置104进行信号通信。所述图像捕获装置102可以将图像帧传输至自运动估计系统100以供处理,以便

8、确定自运动参数。输出装置104可以是(例如)向用户显示自运动参数的显示装置,或者是在某一应用中使用自运动参数的另一个系统(例如,使用自运动参数以用于对移动机器进行可控操作的驱动控制系统)。自运动估计系统100可以处理由图像捕获装置102捕获的一对图像巾贞以确定运动参数。图像捕获装置102可以按预定的帧速率(例如,30帧每秒(fps)来捕获图像帧。在 30fps下,连续图像帧之间的时间间隔是大约O. 06秒(s) 2帧+30帧每秒 O. 06s。因为在此实施例中自运动估计系统100确定以相对较低的速度(10km/h至20km/h)移动的图像捕获装置102的自运动参数,所以自运动估计系统可以假设移

9、动机器的预定最大速度,诸如最大速度20km/h。基于所假设的最大速度和图像帧之间的时间,自运动估计系统100可以确定在连续图像帧之间移动机器可以行进的最大距离(以像素为单位)。举例来说,如果图像捕获装置102在30fps下操作,从而使得连续图像帧之间的大约是O. 06s,并且假设最大速度是20km/h,那么在连续图像帧之间移动机器可以行进的最大距离是大约 O. 3333 米(m) (20km/h +3600s) X0. 06s X 1000m 0. 3333m。在一些实施形式中,自运动估计系统100并不处理每一个图像帧,而且选择处理的帧可能取决于预定的图像帧间隔。举例来说,如果图像帧间隔设置为

10、10,那么自运动估计系统100可以选择图像帧1,10,20,30,来处理,其中图像帧1,10选为第一对,图像帧10,20选为第二对,等等。可以有选择地使用其它图像帧间隔。因此,自运动估计系统100可以基于连续图像帧之间的帧间隔和最大距离来确定在一个选定图像帧与随后选定的图像帧之间图像捕获装置102可以行进的最大距离。使用上文的实施例,即图像帧间隔设置为10,以30fps捕获,并且假设最大速度是20km/h,选定图像帧之间的最大距离是大约3. 333m 10X0. 3333m 3. 333m。因此,图像帧对之间的最大距离可以对应于最大平移向量(Tx,Ty),所述最大平移向量(Tx,Ty)包括最大

11、水平分量Tx 和最大垂直分量Ty。最大水平分量Tx和最大垂直分量Ty表示在选定的图像帧之间移动机器沿着水平轴和垂直轴分别可以行进的最大距离(以像素为单位)。在此实施例中,自运动估计系统100依赖于所述最大平移向量来确定自运动参数,如下文所更详细地解释。图1中所示出的自运动估计系统100包括用于确定自运动参数的各种模块,包括图像处理 模块106,其用于处理从图像捕获装置接收到的图像帧;自运动参数确定模块 108,其用于基于所处理的图像来确定自运动参数;以及具有一个或多个处理单元112的处理模块110,所述一个或多个处理单元112用于执行关于处理图像帧和确定自运动参数的指令。图1的自运动估计系统1

12、00还可以包括其它附加硬件(未示出),诸如用于存储关于自运动参数的图像帧和数据的存储器单元。在此实施例中,图像处理模块106包括用于处理从图像捕获装置接收到的图像帧的各种模块。在此实施例中,图像处理模块106包括图像分割模块114,其用于将图像帧分割成对应子图像;图像变换模块116,其用于对所述子图像执行投影变换并获得透视图像;运动补偿模块118,其用于对透视图像执行几何平移以补偿图像捕获装置的移动;以及图像差别模块120,其用于计算所述透视图像之间的差别。图像处理模块106处理一对选定图像帧。基于对所述图像帧的分析,自运动估计系统100可以确定自运动参数。图2示出选定图像帧对122的实施例。

13、两个选定图像帧 124和126描绘装备有图像捕获装置102的车辆的移动路径。当车辆正在移动时,图像捕获装置102捕获图2中所示出的示例图像帧124和126。由于在捕获图像帧124和126时车辆正在移动,因此后续图像帧126中的物体相对于其在前一个图像帧124中的位置来说略微发生位移。在此实施例中,自运动估计系统100在确定自运动参数时依赖于图像帧之间的位移物体,如下文更详细地论述。图1中的图像分割模块114对图像帧进行分割(或划分)。接着,图像分割模块 114选择每一个图像帧的一部分作为子图像。举例来说,图像分割模块114可以将一个图像中贞分割成上部子图像124a和126a以及下部子图像124

14、b和126b,如图2中举例所不出。 在此实施例中,将具有大部分路面的子图像指定为目标子图像,并且对目标子图像执行后 续的图像处理。通常,下部子图像将包括大部分路面,并且会被指定为目标子图像。如图2 中所见,不例图像巾贞124和126已经被划分成对应上部子图像124a和126a以及下部子图 像124b和126b,并且每一个下部子图像包括大部分路面。因此,在此实施例中,可以选择下 部子图像124b和126b作为目标子图像。图像变换模块116对目标子图像中的每一者执行透视变换。所述透视变换针对目 标子图像124和126中的每一者产生对应俯视透视图像。参看图3,示出两个俯视透视图像 128和130,其

15、分别对应于图2中所示出的目标子图像124b和126b。根据单应性理论,透视变换会使俯视透视图像中的一些(但非全部)物体发生变 形。举例来说,透视变换可能不会使与路面共面的物体(例如,车道标记、油漆带、文字、阴 影、光照等)发生变形。在图3的俯视透视图像中与路面共面的物体包括阴影132和光线 134。相比之下,透视变换可能会使不共面的物体发生变形,所述不共面的物体就是与路面 垂直并且从路面升起的物体(例如,柱、杆、锥形交通路标、树、人等)。在图3的俯视透视图 像中不共面的物体包括锥形交通路标136和路边的灌木138。举例来说,从路面升起的物体 可能由于所述透视变换而被拉长。此外,由于相机移动,透

16、视变换可能导致非共面物体发生 不同程度的变形。在确定自运动参数时,自运动估计系统100另外还依赖于这些单应现象, 如下文更详细地论述。图1中的自运动估计系统100还包括图像差别模块120,图像差别模块120计算所 述俯视透视图像之间的差别。在此实施例中,透视图像是光栅图像,并且因此由像素网格组 成,每一个像素具有相应的像素值。差别图像是指分别用一个图像中的每一个像素值(例 如,红-绿-蓝(RGB)值)减去另一个图像中的相应像素值而得到的图像。因此,差别图像 中的像素的像素值可以是两个图像的相应像素之间的差值。如果相应像素的像素值相同, 那么像素值之间的所得差值为零,在差别图像中可能表现为黑色像素。因此,如果两个图像 是相同的,那么所得差别图像将是完全黑色,因为两个图像中的每一个对应像素值都相同, 从而导致差值为零。然而,如果两个图像略有不同,那么差别图像可能包括一些非黑色像 素,因为两个图像中的相应像素之间的差值为非

展开阅读全文
相关资源
正为您匹配相似的精品文档
相关搜索

最新文档


当前位置:首页 > 行业资料 > 其它行业文档

电脑版 |金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号