基于视觉的道路跟踪

《基于视觉的道路跟踪》由会员分享，可在线阅读，更多相关《基于视觉的道路跟踪（7页珍藏版）》请在金锄头文库上搜索。

1、 1基于视觉的道路跟踪 杨明 陆建业 王宏 张钹 （清华大学 智能技术与系统国家重点实验室 北京 100084） 摘 要 基于视觉的道路跟踪是智能车辆导航的核心问题，它包括道路检测和障碍物检测两个组成部 分。本文首先结合大量的现有系统对道路跟踪的方法进行了综述，然后介绍了三个代表性系统，并 对其最新实验结果进行分析。在此基础上，对其今后的发展方向进行了展望。 关键词 道路跟踪，道路检测，障碍物检测，计算机视觉，智能车辆导航 1 引言 随着城市化的发展和汽车的普及，交通运输问 题日益严重，智能车辆导航（Intelligent Vehicle Guidance）的概念应运而生。基于视觉的智能车辆

2、导航可追溯到七十年代初期的移动机器人研究。但 由于当时的硬件水平还比较低，而图像处理的计算 量非常大，最初的热情在几年后就消退了，只有少 数几个研究小组使用专用硬件方案继续这方面的 研究。例如，德国慕尼黑联邦国防军大学的 VITA 系统使用基于 Transputer 结构的并行处理板16，美 国 CMU大学的 NavLab I系统使用 16k Mp- 2 并行 机21，意大利帕尔马大学的 MOB- LAB 系统（ MOBile LABoratory ） 使 用 大 规 模 并 行 结 构 PAPRICA9。因此，在这一阶段研究者的精力过多地耗费在硬件平台的设计、实现和测试上。但随着 近年来计算

3、机硬件水平的飞速发展，该问题得到了 很好的解决。在处理器和存储器价格不断下降的同 时，民用计算机的体积不断变小，能耗不断降低， 而性能有了显著的提高。而且新一代处理器的指令 集中已经包括了 SIMD 指令，这些指令特别适合多 媒体数据的并行处理。因此，几乎所有的研究小组 都转向在系统中使用商业化硬件。与此同时，计算 机网络性能也不断提高， 从而使基于 MIMD 结构的 计算方案成为可能。例如，德国联邦国防大学的 VaMP 系统使用 3 台双 PentiumII 处理器计算机，通 过快速以太网进行通信，代替了原有的 Transputer 并行处理器系统28。 在智能车辆导航诸多复杂且具有挑战性的

4、任 务中，最受重视的是基于视觉的道路跟踪（Road Following） 。在研究的早期，人们采用了一些较为 特殊的方法，例如，CMU 大学的 ALVINN 系统 （Autonomous Land Vehicle In a Neural Net）使用基 于神经网络的方法，经过训练的系统能够根据当前 图像直接获得驾驶角度32。但面对千变万化的交通 条件，这种基于训练的方法显然具有较大的局限 性。目前，基于视觉的道路跟踪一般采用如下方式 实现：首先，从图像中检测出障碍物信息和道路的 信息，即道路的形状和与车辆的相对关系；然后，控制车辆在道路中安全地行驶和躲避障碍物42。本 文首先分别讨论道路检测问

5、题和障碍物检测问题， 然后介绍了目前的三个代表性系统，并对其最新实 验结果进行分析。在此基础上，对道路跟踪今后的 发展方向进行展望。 2 道路检测 2.1 基本假设 由于现实生活中的道路千差万别，因此道路检 测是一个非常复杂的模式识别问题，目前仍不存在 通用的道路检测系统。但是，适当地引入一些关于 道路的基本假设将有助于问题的简化。下面，我们 将首先讨论一些在道路检测中常用的基本假设。 道路形状假设：简化道路模型的一种有效方法 就是使用道路形状假设。例如，VaMP 系统28和戴 姆勒奔驰公司的 UTA系统 （Urban Traffic Assistant） 17都使用回旋曲线作为道路模型，由于

6、回旋曲线上任意点的曲率与到起点的距离成比例，因此使用 2 个参数就可以确定道路的形状。还有一些研究小组 使用多项式曲线表示车道线。例如，美国密歇根大 学的 MOSFET 系统（Michigan Off- road Sensor Fusing Experimental Testbed）将车道线建模为抛物 线，从而可使用简单的 Hough 变换进行匹配23。 类 似地，俄亥俄州立大学智能交通研究中心也使用低 阶的多项式曲线模型来描述车道线36。同时一些系 统采用了更一般化的道路模型。例如，德国 IITB 研究所的 ROMA系统（ROad Markings Analysis） 采用基于轮廓线的方法：

7、首先使用基于梯度的滤波 器和可编程的阈值处理图像，将具有明显梯度方向 特征的象素组成轮廓，然后使用道路模型跟踪轮廓 37。类似地，MOB- LAB 实验车使用更一般化的三角形模型8。使用道路形状假设，避免了道路几何 复杂的重构问题，简化了车体控制，提高了系统对 阴影和遮挡的鲁棒性。但是该假设往往需要复杂的 公式匹配，计算量较大，而且当道路不符合模型假 设时会失效。因此道路形状假设的选择至关重要。 道路宽度假设：如果可以假设道路的宽度固定 或者变化缓慢，那么道路检测问题就可以简化成平 行的道路特征检测问题。例如，韩国 Pohang 理工2大学的 PVR III 系统（POSTECH Road V

8、ehicle）22 和意大利帕尔马大学的 GOLD 系统（Generic Obstacle and Lane Detection）5都使用路面上的平行车道线来检测道路。而美国 CMU 大学的 RALPH 系统（Rapidly Adapting Lateral Position Handler）则 进一步扩展了该方法，可使用任何平行于道路的特 征来检测道路，例如车道线、道路边界、车辙等35。 使用道路宽度假设，系统对阴影和车辆遮挡的鲁棒 性明显提高，但该假设不适用于宽度变换频繁的道 路。 路面特征一致假设：通常，图像中对应路面的 区域具有一致的不同于非道路区域的特征，例如灰 度特征、颜色特征、纹

9、理特征等，因此可以采用聚 类的方法检测出道路区域。例如 FMC 公司的 Kuan 计算图像一维彩色特征的直方图，通过阈值化将象 素分类为“道路”象素和“非道路”象素24，CMU 大学的 Thorpe 结合彩色特征和纹理特征对象素进 行分类。使用路面特征一致假设，系统检测困难道 路的能力大大增强。然而，由于使用了比较复杂的 聚类方法，因此计算量比较大。 兴趣区域假设：尽管道路跟踪这种实时性处理 的运算量非常大，但根据物理约束和连续性约束， 可以通过相邻帧之间的时间相关性加以简化：只需 在某些感兴趣的区域中进行分析和寻找期望特征， 而无需分析整幅图像。这仅仅是一个跟踪策略，因 此可以采用任何关于道

10、路环境的先验知识假设。例 如，德国的 Autonomes Fahren 项目使用道路和车体 的动力学模型来确定车道线在图像中的兴趣区域 内19。类似地，GOLD 系统将待处理图像限制在上 一次检测结果的邻域11。使用兴趣区域假设可以显 著地加快道路检测的速度，降低对硬件的要求，满 足检测所需的实时性。兴趣区域的选择是该假设的 关键，值得注意的是兴趣区域假设不适合尺度较大 的特征。 道路平坦假设：系统在获得图像特征（例如车 道线）之后，为了控制车辆，需要将特征从图像坐 标系转换到车辆坐标系。如果假设车辆前方道路是 平坦的，那么就可以利用已知的摄像机标定信息进 行变换。例如 GOLD 系统5和 R

11、ALPH系统35都使 用了该假设：首先根据道路平坦假设，使用逆透视 变换7去除图像中的透视效果，然后在得到的道路 准俯视图上进行道路检测。使用道路平坦假设简化 了图像坐标到车辆坐标的变换，但在实际中，道路 平坦假设并不是总能满足，因此只能近似地满足， 或进行摄像机的动态标定。 2.2 结构化和非结构化道路 实际中的道路往往可分为结构化道路和非结 构化道路两类，针对两类不同的道路，人们采取了 不同的方法。 结构化道路一般是指高速公路和部分结构化 较好的公路，这类道路具有清晰的车道线和道路边界，车道线一般为连续的白线或短划线。因此，在 这种情况下，道路检测问题可以简化为车道线或道 路边界检测问题。

12、针对这类道路的系统很多，例如 前面提到的 VaMP 系统28、GOLD 系统5、RALPH 系统35、MOSFET 系统23都是针对结构化道路的。 这些系统通常具有较快的处理速度，但只能在结构 化道路上使用。而且这类系统中常用的梯度算子是 典型的高通滤波器，对噪声很敏感，在处理退化的 车道线和道路边界时会遇到困难。此外，道路两旁 的树木和建筑物、桥或其它车辆会在路面上产生阴 影，形成道路纹理。有些情况下，阴影边界的强度 要远高于道路边界的强度。多数研究小组使用高度 复杂的图像滤波算法来处理这个问题，例如 MOSFET 系统使用彩色分割算法来增大车道线和 道路之间的对比度2。 非结构化道路一般指

13、结构化程度较低的道路， 例如城市交通道路。对这类道路的系统除了前面提 到的 PVR III 系统外，还包括美国 CMU 大学的 SCARF 系统（Supervised Classification Applied to Road Following ）15和UNSCARF系 统 （ UNSupervised Classification Applied to Road Following）14，美国 Martin Marietta 公司的 VITS 系统 （Vision Task Sequencer）44， 清华大学的 TURF系统（Tsinghua University Road Follo

14、wing）26，等 等。由于这类道路没有车道线和清晰的道路边界， 为了避免由噪声或模糊的道路边界带来的问题，这 类系统一般使用路面特征一致假设，因此这类系统 也可用来检测结构化道路。非结构化道路同样存在 阴影问题， 为此 VITS 系统和 SCARF 系统扩展了直 方图阈值化方法，使用多维分类的方法：这种方法 首先对路面色彩进行建模，得到若干个色彩模型， 然后将图像中的象素逐一与色彩模型进行比较，最 后根据匹配程度得到分类结果。使用这种方法，系 统能够在很多困难的非结构化道路下获得良好的 效果，但是它们需要使用前一帧图像的处理结果进 行跟踪。UNSCARF 系统和 TURF 系统同样是基于 聚

15、类的系统，但它们无需上一帧图像的处理结果就 能检测困难的非结构化道路：首先将每幅图像中具 有相似颜色的象素聚成一类，然后对这些类进行组 合，形成若干个类集合，最后选择形状与道路模型 最匹配的类集合作为道路检测的结果。 无论是结构化还是非结构化道路，都存在着遮 挡问题，即道路上的其它车辆遮挡了部分道路或车 道线。为了解决这个问题，一些系统假设车辆正前 方有限区域内无其它车辆，从而使用该有限区域进 行道路检测。例如，LAKE 和 SAVE 自主车仅使用 车辆前方 12 米范围内的图像13。 RALPH系统则借 助基于雷达的障碍物检测结果来确定图像中的道 路检测区域35。此外，还可使用拼接的方法，从

16、多 幅相邻图像中生成无遮挡的虚拟图像，然后再进行 检测。 33 障碍物检测 3.1 方法概述 障碍物检测对于保证车辆的安全至关重要。道 路上常见的障碍物包括车辆、交通标志、摩托车、 行人等。障碍物检测的方法很大程度上取决于障碍 物的定义，但目前对障碍物尚无统一的定义。一些 系统将障碍物限定为其周围的车辆，而更多的系统 采用障碍物的广义定义：障碍物是车辆行驶道路上 任何具有一定高度的物体。一般地，障碍物的检测 方法可分为三类： 基于单幅图像的方法：这类方法通常只用来检 测特定的障碍物，例如周围的车辆或交通标志。一 般根据障碍物的特点，使用适当的假设和简化的模 型来进行检测。由于仅使用单幅图像，因此算法求 解通常比较简单，处理速度也较快，而且检测过程 不受车辆运动的影响。但由于仅使用单幅图像，失 去了场景的深度信息。当模型和假设过于严格时， 可能会造成障碍物的漏检；而当过于宽松时，又