《智能交通数据预处理算法研究及应用》由会员分享，可在线阅读，更多相关《智能交通数据预处理算法研究及应用（38页珍藏版）》请在金锄头文库上搜索。
1、如果您需要使用本文档，请点击下载按钮下载!1 绪论1.1智能交通研究背景交通可以将人和物之间互相联系起来，在城市的建设、发展和日常运行中起到了重要的作用，我们出行使用的交通工具无不处于复杂的交通线路中，通过这些线路，我们可以到达我们想要前往的地点。在技术的不断发展和进步中，交通也变得越来越安全、便利、不再昂贵的运输成本，每次交通方面的进步都会影响到很多行业的发展，带来新的就业机会，为城市的发展带来利好。公路是城市的血管，公路上的车辆便是城市的血液，城市的日常运作和社会的发展离不开公路，得益于我国“入世”以后国民经济的腾飞和技术的进步，汽车业的发展也伴随着人民生活水平的提高迎来了自己的春天，便利
2、的交通对经济进一步发展和人民生活的便易又提供了新的生机，但事物具有两面性，现有道路已经不足以消化日益增长的交通工具，问题正逐渐进入人们的视线，拥堵问题、秩序杂乱无章、交通事故频发、尾气排放等是其主要表现形式1。在过去的几十年中，很多城市的交通问题已经随着城市的发展变得越来越严重，现有基础设施已然不足以消化过多的车辆，而糟糕的交通又限制了社会经济的发展，同时耗费了多余化石燃料，破坏环境。随着人口的不断膨胀，车辆保有率的不断增加，现有交通的状况将变得更加糟糕。深处世界洪流中的我国也不例外，自上个世纪末起，我国的道路拥挤问题已初现端倪，近年来我国国力迅速增强，交通问题更加限制了经济的持续发展和人民生
3、活水平的进一步提高，公安部官方数据给出，截至2015年年底，全国机动车保有量达2.79亿辆，2015全年新注册登记的汽车2385万辆，保有量净增1781万辆，全部达到历史最高水平。如此天量的汽车行驶在全国的公路上，势必会造成拥堵，造成经济损失，更为严重者已经严重威胁了人们的生命，全球每年超百万人死于交通事故。所以，我们必须重视交通问题并寻求解决方案。为此，世界各国采取了各自的对策，但收效甚微。通过长期的探索与经验的积累，人们发现，诸多造成交通拥挤的因素中，最为根本的原因就是供求两者间的不平衡关系，首先可以新建道路，提高总体容量，但经过调查发现，我国的一些大城市在上下班等高峰期，大多数公路都处于
4、拥堵状态，但一些道路的使用率仍然不高，所以仅仅采用简单的新建道路、扩建道路是不能从根本上解决问题的，尤其对于发展得比较成熟的城市而言，城市早已形成规模，交通系统繁杂，格局不宜改变，可分配用于道路建设的土地越来越少，因此不能仅从某一方面（例如道路方面或车辆方面）来解决相关问题，成本过高、污染环境，并且此法对于纾缓交通、提高运输效率的作用并不十分明显2。由此看来，综合考虑各种因素，要想有效地解决道路问题，就要充分利用现有道路资源、合理分配车流量，就成了现在工作的重点，具体就是采用各种高科技手段相配合改造传统运输体系的方法便成了最优解，即综合考虑司机、交通工具、环境的智能交通系统（ITS）。1 /
5、381如果您需要使用本文档，请点击下载按钮下载!1.2智能交通和数据预处理的相关介绍1.2.1智能交通相关介绍及国内外发展概述智能交通系统(Intelligent Transportation System，即ITS)，是未来交通系统的发展方向，它是将先进的信息技术、数据通讯传输技术、电子传感技术、控制技术及计算机技术等有效地集成运用于整个地面交通管理系统而建立的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合交通运输管理系统3。智能交通的目标就是，对交通状况和交通数据的感知采集，将各感知终端的信息进行整合、转换处理，以支撑分析预警与优化管理的应用系统建设，分析预测及优化管理应用主要包
6、括交通规划、交通监控、智能诱导、智能停车等应用系统。在没有新建道路的情况下，充分利用现有资源，减轻道路负担和环境污染，使道路在安全的前提下被更充分地利用，由此，各国越来越重视智能交通的建设。智能交通分为四个子系统，分别为：车辆控制系统、交通监控系统、车辆管理系统、旅行信息系统。车辆控制系统，指辅助驾驶员驾驶汽车或替代驾驶员自动驾驶汽车的系统，可以准确地判断车与障碍物之间的距离。交通监控系统类似于机场的航空控制器，它将在道路、车辆和驾驶员之间建立快速通讯联系。车辆管理系统可以实现驾驶员与调度管理中心之间的双向通讯，来提供商业车辆、公共汽车和出租汽车的运营效率。旅行信息系统专为外出旅行人员及时提供
7、各种交通信息的系统。四个子系统如下图。图1-1智能交通的子系统4Figure 1-1 Intelligent transportation subsystems智能交通系统（ITS）是一个繁杂系统的总称，以管理和控制为基础，依靠交通信息提供服务，同时着重提高道路使用效率，由此可以缓解道路拥挤，有利于出行，目前此方法受到各国重视和大力推广。它集各种高新科技之大成，需要极强的综合性，然而现行的一些智能交通系统并没有综合利用各种资源，而是各自为政、自扫门前雪，没有形成信息的实时共享，如此这般，信息溃散、高能低效，并没有达到“智能交通”本来的目的。所以3 / 383如果您需要使用本文档，请点击下载按钮
8、下载!对于智能交通来说，其很重要的一方面就是资源、数据的共享，在保证尽可能全面、实时地收集大量静态和动态数据信息的同时还要兼顾各交通资源之间的数据整合、输送、融合、分析和利用。这就需要各部门相互协调、分配工作，综合考虑时间、地点、环境，将采集到的天量数据进行实时共享，这是非常重要的。而实时共享，就需要依靠信息技术在各单位之间建立一个统一且规范的组织平台，以供信息共享与交流，各部门可充分利用平台中的所有数据，综合分析，给出最合理最有效的解决方案，此举大大提高智能交通系统的综合性能，同时提高出行效率，增加效益，保护环境5。智能交通是一个包含了多方面高新技术的复杂系统的总称，它的出现解决了很多道路交
9、通问题，目前国际上将ITS项目分为七大类。图1-2智能交通的项目分类Figure 1-2 Intelligent Transportation Project Classification在智能交通方面走在世界前列的是美国、欧洲、日本。他们的社会发展相对成熟，更超前，所以较早涉足智能交通领域，且相关研究由国家带头，联合社会各界，各取所长，共同实现了智能交通的研发、改进与应用。美国于上世纪六十年代着手开发电子导航系统，并于80年代末期提出了相关战略计划，投入巨资联合各单位共同参与项目，在智能交通的各系统领域取得了长足的进展。进入新世纪后，已经建立了智能交通的四个系统及众多下属系统的行业标准，信息
10、平台的建设也越来越完善。早在三十年前，欧洲便开始了对智能交通的研究和其信息共享平台的建设，两年后，欧洲十国又将研究领域延伸到道路本身和车辆的设备，经过不懈努力，到现在，已经有很大一部分的理论研究被应用到实际当中，并为国家的带来了显著的经济利益。日本对于智能交通的研究稍晚欧美几年，但这并不妨碍日本在相关领域的领跑地位，日本连续几年内完成了系统的开发与标准的制定，并应用于国家的主要公路。日本的高效源于政府从始至终的参与，使各处力量集中在一起攻坚克难，3 / 383如果您需要使用本文档，请点击下载按钮下载!这样就使日本取得了不俗的成绩。我国最初涉足智能交通领驭的时间可以上溯到上世纪八十年代，当时，交
11、通部提出分批次对五个交通领域进行研究，并系统地应用于实际。进入新世纪后，我国于2001年根据我国国情构建了智能交通的规则系统，后又成立了十个试点城市，并在试点城市中开始了相关工程项目的建设，我国智能交通的重点之处是信息交流平台的建设，随着科技的不断进步，各种通信手段的日渐成熟，信息采集系统功能的不断完善，为我国智能交通的进一步建设奠定了夯实的基础，但即便如此，当时我国在信息平台的建设上还处于初级阶段，多数城市仍然依托原始的信息系统，或直接进口国外先进软硬件。2008年北京奥运会的成功举办也加速了我国智能交通的发展，同时借鉴国外的成功或失败经验，我们很有可能“后发制人”6。时至今日，我国大城市普
12、遍成立了各种独立的交通道路指挥中心，一些中小城市也在积极推动相关项目，由此可知，智能交通在我国的发展是历史发展的必然选择和趋势。1.2.2数据预处理的相关介绍数据预处理是指在主要的处理以前对数据进行的一些处理。众所周知，只有依靠精准的数据才能做出准确的决策，由于电压突变、外界震动、电磁干扰、仪器故障、环境条件等引起了测试仪器的测量值异常或被测物品的位置相对移动，就会产生异常数据。发现异常数据并剔除或做出适当修改会对未来的正确的决策起到关键作用。然而对于一切系统，都没有足够的把握让数据完全洁净，这将导致数据挖掘的自身质量不高。在数据挖掘的过程中会由于噪声和冗余造成混乱，造成不准确的输出。过多的冗
13、余就会在探索知识的途中造成性能降低并造成混乱，此时我们就通过数据预处理技术提高数据准确性，进而提高后期数据挖掘的性能7。数据预处理模块是数据挖掘系统完整的必要保证，它的目的是发现任务，用新型模型整理数据，排除无关的属性，使数据更加精准、洁净、有更强的针对性，通过数据预处理可以提高工作效率。实际应用到的数据大部分是不完整的，由于脏数据的存在，数据挖掘不能直接进行，或得出的结果并不令人满意，为了应对这种情况，数据预处理技术就此产生，数据预处理的意义就是：为了得到更高质量的数据结果，在数据挖掘前要进行数据预处理，由此可以对数据做出调整，使数据更符合需求，更有效并更准确，同时去除无关项，使数据质量更高
14、。通过大量的数据处理可以抹去噪音。同时存储已被整合的数据，数据变换同理。举个例子，规范化有助于提高一些用于测距的挖掘算法的有效性和准确性6。数据预处理有很多方式：数据清理、数据集成、数据变换、数据归约等。要在数据挖掘前应用这些技术，由此提高挖掘质量，减少数据挖掘的时间。数据清理的主要任务是使格式标准，剔除异常数据，改正错误，剔除反复数据，即补充缺失数据、平滑噪声、找出并剔除一些点来解决不一致性。数据集成就是建立数据库，将数据合并在一起。由于一般情况下数据挖掘的工作量很大，在一些数据的挖掘上耗费较长时间，通过数据归约可以极大地简化工作，同时保证原始数据的无损，并可以得到与未归约近乎相同的结果5
15、/ 385如果您需要使用本文档，请点击下载按钮下载!8。对于一些工程企业（例如汽轮机厂等），客观存在着某些现象，比如，反复设计后的零件进入生产，这就导致了零件和文件的数量过于庞大，生产过程杂乱无章，抬升了成本，不能按时完成任务。可以分析该企业产品的过往数据并制定特定算法，有助于工作人员了解本企业的历史产品、相关零部件和其过去的利用情况。在汽车领域，数据预处理同样发挥着其重要的作用，企业为用户提供更细致、更标准的服务，就要采集海量数据，车企人员已经开始重视数据的采集、分析，但在使用方面仍然不能做到完美。国内的汽车企业基础较国外较差，有很大的改善潜力，在这样的大环境下，数据挖掘就会对企业本身的发展
16、有很大的促进作用，可以在已采集到的数据中抽出修理与养护的数据，进行数据清理、抽取、转换、加载，并为汽车售后单独建立一个数据库，利用相关规则分析数据，对数据进行处理9。1.3本文主要研究内容交通系统的重要特征之一就是其变化性，因为它是一个由人类干预、随时变化且繁复的系统，数据会随时间地点的变化而变化，交通的占有率、速度、流量等数据也会随之变化，由此造成相应误差。在发送过程中设备故障、线路故障、交通事故或其他因素的干扰下，自然会出现数据缺失与数据异常，若不经处理，将这些数据直接反馈给交通，就会带来安全隐患。所以，要尽可能地保证数据的准确、有效。本文的主要目的就是解决以上问题，本文简单介绍了智能交通的研究背景，世界各国的发展历程，数据预处理的相关方法，主要研究了面对智能交通系统的数据预处理方法，包括缺失数据的补偿、异常数据的剔除等，利用Matlab编写相关程序，得出仿真，对结果进行分析，
