《【2017年整理】交通图像融合综述》由会员分享，可在线阅读，更多相关《【2017年整理】交通图像融合综述（7页珍藏版）》请在金锄头文库上搜索。
1、交通图像融合综述前言 图像融合是近年来研究的一个热点，它是对不同传感器或者同一传感器在不同条件下所获取的同一对象的图像，经过预处理后，将多幅源图像在空间和时间上的互补信息依据某种准则融合成一幅新图像，融合后的图像具有比任意一幅源图像更加优越的性质，从而能更精确地反映出客观对象。图像融合技术已广泛地应用于军事、遥感、城市交通监控、计算机视觉和医学等领域。近年来，各种面向复杂应用背景的信息系统大量涌现，图像融合技术迅速发展。目前的图像融合技术已经从军事向机器人、交通控制和管理、医学等领域发展，成为国内外重点研究开发的关键技术之一_。国内的智能交通系统通常只采用单一类型的检测器采集图像信息，由于环境
2、条件、检测器固有特性等因素的影响，单一传感器获得的数据往往不完善。例如：智能交通系统采用视频和红外两种检测器采集交通信息。由于可见光和红外图像成像机理的本质差别，因此得它们具有相当多的互补信息，红外图像描述目标和背景所保持的温度差异，但包含较少的细节信息，红外检测器适合在夜间及雾、雨、烟、尘环境下工作；而视频检测器在上述环境下采集的图像质量较差，甚至无法识别目标。随着图像融合技术的发展，通过对来自多个传感器的图像信息进行多层次的处理与融合，能够获得更丰富、更精确的有用信息。因此，将图像融合技术应用于智能交通系统的信息采集模块，有利于改善系统的服务质量。一、图像融合国内外发展现状经过二十多年的发
3、展，图像融合技术的研究已经形成了一定的规模，国外已开发出多种融合系统，但还存在许多理论，技术问题有待解决，目前图像融合技术在国内所进行的研究相对于国际上的研究工作起步较晚 还处于落后状态 因此迫切需要开展广泛深入的基础理论和基础技术的研究工作。图像融合技术与其他高技术一样，多传感器图像融合技术首先也是应用于军事领域。目前该技术在军事上的应用越来越广泛，它含概了包括目标的检测，跟踪和识别以及态势感知等方面。在海湾战争中发挥很好作战性能的 LANTIRN 吊舱就是一种图像融合系统。美国 TI 公司于 1995 年从美国夜视和电子传感器管理局 NVESD 获得了将红外与三代微光图像融合设计集成到先进
4、直升机 AHP传感器系统的合同，信号处理功能由 TMS320C30 DSP 完成。英美联合研制的追踪者战术侦察车是将热成像仪，电视摄像仪以及激光测距仪等多个传感器进行融合利用。2000 年 5 月 美国波音公司航空电子飞行实验室成功地演示验证了联合攻击机 JSF 航空电子综合系统的多传感器信息融合技术和功能。该实验室利用合成孔径雷达和前视红外系统，进行了多传感器图像融合处理 可以快速地确定目标位置和对目标进行识别。再利用电子战传感器采集到的信息，经进一步融合处理，飞行员可以对威胁目标进行及时准确的定位和识别。在美欧的多套大型战区级传感器信息融合演示验证系统中，相当重要的组成部分是武器平台上的或
5、分布式的图像融合装置。在民用方面，多传感器图像融合已在遥感。医学图像处理，智能机器人等领域得到了广泛应用。在遥感领域中，多源遥感图像融合已应用于土地资源调查，洪水监测，地形测绘以及地物分类等方面。例如 Landsat TM 影像和 SPOT 影像的融合集成了 TM 影像的多光谱特点和 SPOT 影像的高空间分辨率特点， 有利于对目标的提取和分类。在计算机视觉方面，图像融合技术可用于对周围环境的感知，有助于机器人的导航图像融合技术也可用于工厂企业，以监视产品流水线以及检测产品质量。在医学领域上，通过图像融合可综合不同模态医学图像的优点，将它们作为一个整体来表达。能为医学诊断人体的功能和结构研究提
6、供更充分的信息。例如 CT 和核磁共振 MRI 图像的融合处理已经应用于颅脑放射治疗和颅脑手术可视化中。在图像和信息加密方面，通过图像融合可实现数字图像的隐藏以及数字水印的植入。在武器检查方面，多传感器图像融合技术为隐匿武器检查问题提供了很好的解决办法。例如通过融合可见光图像和红外图像或毫米波图像可增强隐匿武器的检测能力。随着多传感器图像融合技术的发展，其在军事和民用上的应用中会更加广泛，由此可知它对于国民经济的发展和国防事业的建设均具有非常重要的意义。二、图像融合在城市交通中的应用随着经济的飞速发展,各种机动车数量不断增加,给城市交通造成重大影响,现行的城市交通监控模式,已越来越不适应繁重的
7、交通负担.同时,日益增加的交通安全问题以及各种车辆违章和违法行为也对正常的交通运行产生严重影响.针对这些问题,国外发达国家相继推出了适应未来交通需求的智能交通系统(Intelligent Transportation System, ITS)发展规划,将智能交通系统作为今后交通建设发展方向,我国也开始了这方面的研究和开发。智能交通系统(Intelligent Transportation SystemITS)是电子信息技术在交通运输领域应用的前沿课题它将信息处理、定位导航、图像分析、电子传感、自动控制、数据通信、计算机网络、人工智能、运筹管理等先进技术综合运用于交通管制体系,加强了车辆、道路和
8、用户之间的关系,从而实现交通管理的智能化。相对于传统的磁感应线圈和波式(超声波、红外线、微波)检测器,视频图像检测技术在硬件成本、工程灵活度、信息范围、实时处理与显示、环保及抗干扰等方面具有明显优势。为此,视频交通监控系统已成为 ITS 的主流技术,相关问题的研究具有很大的现实意义和应用价值。1984 年,美国明尼苏达大学的 MVAI 实验室首次开展了将计算机视觉应用于 ITS 的研究,成立了著名的 ISS 公司,并推出了 AutoscopeTM 系列外场视频车辆检测系统,实现了全天候检测,是目前全球最成功的交通视频检测产品之一。此外,美国 PEEK 公司研制的 VideoTrak9 系列车辆
9、跟踪与探测系统也是性能优越的视频监测设备。国内关于交通视频监控的研究滞后于国外,技术基础较弱,但也有不少公司做出了产品,如清华紫光的视频交通流量检测系统 VS3001,深圳神州交通系统有限公司开发的 VideoTraceTM,厦门恒深智能软件系统有限公司开发的 HeadSun SmartViewer-II 视频交通检测器等。当然这些产品的功能比较单一,与国外产品相比有一定差距。三、图像融合的方法图像融合是多传感器信息融合中可视信息的融合，它是对多个传感器采集到的关于同一场景或目标的图像进行适当的融合处理。获得一幅融合后图像 使之更适合视觉感知或计算机处理，它是一门综合了传感器、信号处理、图像处
10、理和人工智能等的新兴技术。 图像融合过程可以发生在信息描述的不同层次。根据信息表征层次的不同，图像融合一般可分为像素级融合、特征级融合和决策级融合三个级别。由于像素级融合是特征级与决策级融合的基础，能直观准确地得到融合图像，所以在图像融合领域仍然是研究热点。图像融合是将两幅或多幅图像融合在一起，以获取对同一场景的更为精确、更为全面、更为可靠的图像描述。融合算法应该充分利用各原图像的互补信息，使融合后的图像更适合人的视觉感受，适合进一步分析的需要；并且应该统一编码，压缩数据量，以便于传输。图像融合可分为三个层次:（1） 、像素级融合。（2） 、特征级融合。（3） 、决策级融合。其中像素级融合是最
11、低层次的融合，也是后两级的基础。它是将各原图像中对应的像素进行融合处理，保留了尽可能多的图像信息，精度比较高，因而倍受人们的重视。像素级的图像融合方法大致可分为三大类：（1） 、简单的图像融合方法。（2） 、基于塔形分解（如 Laplace 塔形分解、比率塔等）的图像融合方法。（3） 、基于小波变换的图像融合方法。1、像素级图像融合的主要步骤：设 A，B 两幅原始图像，F 为融合后的图像。若对二维图像进行 N 层的小波分解，最终将有(3N+1) 个不同频带，其中包含 3N 个高频子图像和 1 个低频子图像。其融合处理的基本步骤如下：（1）对每一原图像分别进行小波变换，建立图像的小波塔型分解；（
12、2）对各分解层分别进行融合处理。各分解层上的不同频率分量可采用不同的融合算子进行融合处理，最终得到融合后的小波金字塔；（3）对融合后所得小波金字塔进行小波重构，所得到的重构图像即为融合图像。图 1 像素级图像融合流程图2、特征级图像融合特征级图像融合，即对预处理和特征提取后获取的景物信息如边缘、形状、轮廓和区域等信息进行综合与处理、特征级融合是在中间层次上进行的信息融合、它既保留了足够数量的重要信息、又可对信息进行压缩、有利于实时处理、它使用参数模板、统计分析、模式相关等方法完成几何关联。特征提取和目标识别等功能，以利于系统判决。图 2 特征级图像融合流程图3、决策级图像融合决策级图像融合。即
13、根据一定的准则以及每个决策的可信度作出最优决策，决策级融合是高层次的信息融合。在每个传感器已完成了目标提取与分类之后，融合系统根据一定的准则以及每个决策的可信度作出决策融合处理 此种融合实时性好并且具有一定的容错能力。决策级融合方法主要是基于认知模型的方法，需要大型数据库和专家决策系统进行分析、推理、识别和判决。图 3 决策级图像融合4.若按处理融合信息的种类 图像融合也可分为三类 （1） 、时间融合。它是指对同一传感器在不同时间上的量测进行融合。 （2） 、空间融合。它是在同一时刻 对不同的传感器的量测进行融合。 （3） 、时空融合。它是指在一段时间时 对不同传感器的量测不断地进行融合。图像
14、融合策略秉承了信息融合的基本融合策略，即先对同一层次上的信息进行融合。从而获得更高层次上的融合信息 然后再汇入相应的信息融合层次 其本质上是一种由低层至高层对多源信息进行整合，逐层抽象的信息处理过程。 四、基于小波变换的图像融合目前，小波变换因具有良好的时频局部特性和多分辨分析特性而被广泛应用于图像融合领域。小波变换是图像的多尺度、多分辨率分解，它可以聚焦到图像的任意细节，被称为数学上的显微镜。近年来，随着小波理论及其应用的发展，已将小波多分辨率分解用于像素级图像融合。小波变换的固有特性使其在图像处理中有如下优点：1. 完善的重构能力，保证信号在分解过程中没有信息损失和冗余信息；2. 把图像分
15、解成平均图像和细节图像的组合，分别代表了图像的不同结构，因此容易提取原始图像的结构信息和细节信息；3. 具有快速算法，它在小波变换中的作用相当于 FFT 算法在傅立叶变换中的作用，为小波变换应用提供了必要的手段；4. 二维小波分析提供了与人类视觉系统方向相吻合的选择性图像。随着小波变换理论的兴起和完善，小波变换在图像处理领域得到了广泛的应用。小波变换是一种类似于塔型变换方法的图像处理方法，也可以说，它是一种广义的塔型变换方法。 1993 年 Ranchin 和 Wald 将离散小波变换应用于遥感图像融合中 Chipman 和 Li 也较早地提出了基于离散小波变换的图像融合方法。他们均采用 Ma
16、llat 二进制离散小波图像分解算法。由于离散小波变换在提取图像低频信息的同时，又获得了三个方向的高频细节信息。在理论上，与传统的基于塔型变换的融合方法相比，具有更好的分解效果。此后，有相当多的研究和应用都是基于离散小波变换融合算法。 Wilson 提出了基于人类视觉系统频率响应特性的融合规则，以此来融合处理小波变换系数。蒲恬在应用小波变换进行图像融合时，根据人类视觉系统对局部对比度敏感的特性采用了基于对比度的像素选取融合规则 Petrovic 和 Xydeas 在考虑分解层内各系数及分解层间相关性的情况下进行系数的融合选取，对分解层内各方向的系数融合选取，不是象前面那样分别进行选取，而是考虑层内各图像和层间各图像的相互关系一并进行融合选取。Li 采用选取窗口区域中第 i 个最大系数作为融合后系数。通常选取窗口区域中的最大值作为融合后系数。但考虑到噪声的影响，也可选取 2 = i 或 3 = i 情况下的融合选取。在选取系数的同时，这种融合规则也考虑了窗口区域系数的相关性。Koren 在 Freeman 和
