《大数据技术在智能交通领域的应用-第1篇》由会员分享，可在线阅读，更多相关《大数据技术在智能交通领域的应用-第1篇（12页珍藏版）》请在金锄头文库上搜索。
1、 大数据技术在智能交通领域的应用 李燕妮在新时代背景下，以大数据理念为依据的智能化交通建设成为优化城镇化建设水平，解决城市交通拥堵的有效举措，其不仅能提升获取交通信息的科学性和准确性，而且可以构建多元化的管理系统为智能交通运行提供基础保障。文章以广西为例，基于大数据与智能交通理论概念，介绍了基于大数据技术的处理平台特点与架构，探讨了智能交通领域大数据技术的具体应用。大数据;智能交通;数据迁移;实时性;高度可拓展性;异构环境U491.1+22A4014340 引言日益严峻的城市交通运输难题，既会导致车辆运行缓慢，又会增加运输时间和成本的消耗，并由此释放大量的汽车尾气，严重污染城市环境和自然生态。
2、同时，拥堵的城市交通必然会增加事故发生的概率，而这一现象也会增加交通拥堵的范围，以此形成恶性循环。除此之外，城市道路建设的功能不完善，交通运输管理的方式过于落后等问题也会造成道路拥堵难题。而大数据技术作为网络技术革新的全新内容，融合了多种类型的数据，可以从中获取更多具有价值的数据信息。所以，在城市建设发展过程中，构建以大数据为核心的智能交通网络系统，不仅能提升道路运输效率，增加获取信息，而且可以为智能交通建设发展奠定基础保障。智能交通可以从基础上改变人们的出行方式，提高他们的生活质量，更可以为社会经济和城市建设提供技术支持。1 背景介绍随着我国经济发展水平的持续上升，科学技术地不断创新，人们生
3、活的质量越来越高，家庭拥有汽车数量也在直线上升，为解决日益严峻的城市道路运输难题，大部分城市都开始引入智能交通建设理念，并在实践发展中获取了一定成果。现如今，我国每年在这一领域上的投资超过了200亿元，为解决城市交通运输难题提供了有效的资金支持。未来的智能交通技术及其系统运营并不会局限于陆地交通，也可以运用到航空、海运等领域中，这将有助于我国综合交通领域向着现代化和智能化的方向革新。本文研究以广西为例进行了应用分析：（1）数据中心。选用多种运输方式，整理收集国际运输、海关物流等数据信息，全面推广广西综合交通运输全域大数据资源的管理工作，并在构建数据资源池的基础上实现资源共享与交换，而后利用数据
4、挖掘分析为西部陆海新通道建设系统提供依据。（2）智慧高速。以南宁沙井到吴圩高速公路为依托，运用车路协同和自动驾驶技术构建全新的道路交通控制平台，并构建智慧高速公路路段，科学动态地管理与调度途中的车辆。（3）智慧服务区。利用5G技术、人工智能以及云计算等内容，整理分析以视频图像为主的服务区全态势大数据，在促进商业经营转型的同时，提升实际服务质量和安全防控力度。（4）智慧公路监测系统。构建以5G技术为依据的公路专用通信网络，为智能交通运输提供混合云雾计算平台，促使公路网在全面覆盖的基础上，可以从出行服务、运营保养以及基础设施等方面快速利用智慧平台进行数据分析与处理。（5）基础设施建设与保养。不管是
5、特长隧道还是高速公路、桥梁等基础设施，都要利用BIM技术在道路施工和养护运营等管理期间进行全生命周期的管控与研究。2 概念分析2.1 大数据从本质上讲，大数据就是对大规模的數据信息进行整理收集以及分类处理等操作的全新技术理念，其不仅能在分析处理中发现事物规律，而且可以突破传统计算机技术的限制。尤其是在人工智能和云平台理念的优化下，将这一技术理念运用到城市建设中能全面改变人们的生活和工作形式。2.2 智能交通智能交通系统也叫做智能运输系统，是指利用现代化科学技术如自动控制理论、数据通信技术以及电子控制技术等，全面管控交通运输情况，并强化人车路三者间的协调关系，以此构建一种可以提升效率、减少资源消
6、耗、优化城市环境以及保障生命安全的综合运输系统1。3 基于大数据技术的处理平台3.1 大数据处理特点及框架结合图1分析可知，以大数据为依据的技术平台特征主要分为以下几点：（1）用来储存并抓取大量数据，能快速且准确地了解城市交通运输现状;（2）突破跨区域管理的限制;（3）具有智能性和现代性，能帮助管理人员全方位了解道路运输状况，统筹规划实际管理方案，以此提升道路资源的应用效率;（4）具有预见性和便捷性，可以在快速处理多样化数据信息的基础上，让网络交通信息和道路实际数据彼此融合互补，有助于城市居民根据城市道路运输提供不同类型的数据信息，选择适宜的出行方式和路线。目前随着城镇化建设水平的提升，道路运
7、输量的增长速度远远超过了预期范围，难以及时应对日益增加的汽车运输需求，此时基于大数据技术构建系统化的道路诱导系统至关重要。3.2 数据仓库系统数据仓库作为数据管理科研项目的核心内容，由其产生的数据需求和数据服务等都发生了翻天覆地的变化，而这些改变需要科研人员根据实验探究进行逐一确认。根据上文概述的广西智能交通领域发展现状分析可知，用数据仓库系统处理交通信息，必须要具有以下特征：（1）高度的可扩展性。面对持续上升的智能交通运输信息，数据库不能依据一台或少数机器的升级来满足爆炸式增长的数据量，而是要利用横向可拓展技术来完成实际数据的分析与储存。（2）高度容错。由于城市交通信息大部分都需要查询实时数
8、据信息，因此对系统的容错性要求极高。而在集群环境中，节点的失效并不是一件稀罕事，计算机系统无法利用硬件来提升自身的容错性，相反要注重优化软件性能，提高其所拥有的容错性。（3）支持异构环境。在实践运行中根据工作需求不断购买大量异构计算资源，不仅能减少资源浪费，而且可以保障其系统的运行质量。3.3 Hadoop架构Hadoop架构作为运行在大规模集群上的开源的分布式并行编程框架，不仅能运行Google的Map Reduce编程模型，还具备分布式文件系统HDFS，因此在实践运行中可以处理大量数据并进行分布式计算。其具体架构如图2所示。此时，框架处理数据量可以达到海量级别，且需要服务端具有极强的处理能
9、力和负载水平，服务系统也具备一定的稳定性和可拓展性。大数据平台的应用优势在于储存和计算大规模数据信息，且具备高交互性。HDFS文件系统能有效提升系统服务器的拓展性，由此构建的Map Reduce框架也能更快地进行分布式计算，且能在处理期间增强服务器的负载均衡力。运用Hadoop分布式处理平台，按照城市居民出行调查、当前道路信息以及车辆运行情况等对数据库信息进行整合处理与分析，能在准确评估城市道路车速的基础上，提升公共交通效率。3.4 HBase关系型数据库管理系统更适宜应用在数据更新或查询等工作中，符合小规模数据信息的分析与处理要求。Map Reduce框架能以批处理方式来研究整体数据集的问题
10、，适宜用来一次写入多次读取的问题，而前者更符合长期更新的数据集。对比两者实际应用情况可知，前者必须要具备精准定义的实体数据，而后者主要用来处理半结构化或非结构化的数据信息。按照实践系统运行需求分析，这一系统对实时性的要求极高，如道路运输的实时路况、出租车实时信息以及用户请求等，这些内容都要利用MySQL数据库储存模式，及时反馈查询相关内容，以期在方便居民出行的同时，储存大规模数据信息。上述内容必须要选用HBase数据库。其作为Apache Hadoop的数据库，可以在应用期间进行实时且随机的读写访问，相应的工作目标在于储存并处理大规模的数据信息。以HDFS为依据的HBase数据库具有可伸缩性、
11、可靠性以及高性能等优势，将其运用到PC集群中构建大规模的结构化储存集群，对当前智能交通系统建设与运行而言至关重要2。3.5 HiveHive作为Hadoop数据仓库所需工具，能让结构化的数据信息映射成为一张数据库表，并为用户提供有效的SQL查询功能，以此将这一语句转变为Map Reduce任务在系统中运行。这一内容在智能交通系统中的优势在于学习成本较低，能利用SQL语句快速统计Map Reduce，并不需要依据Map Reduce需求设计专门的应用，非常符合当前数据仓库统计需求。常见内容涉及解释器、用户接口以及优化器等。3.6 PigPig作为以Hadoop为依据来源的大规模数据分析平台，相应
12、的SQL-LIKE的语言叫做Pig Latin。结合实践工作情况分析，Pig主要用来分析大量的数据集，其可以为系统用户带来多层抽象，这样能在方便并行技术的基础上，为用户带来更为优质的系统服务。此时，抽象化的处理可以自动将用户请求queries翻译成为有价值的并行评估方案，而后在物理集群中合理处理上述计划3。4 在智能交通领域中的大数据技术分析4.1 系统框架根据当前广西智能交通系统应用情况分析，要想科学处理交通数据，必须要根据上述典型的大数据平台架构设计更为完善的处理平台。具体系统架构如图3所示。这一系统主要分为三大部分：（1）数据的采集层;（2）数据的架构层;（3）数据的服务层。数据的采集层
13、和传统智能交通系统的设计相同，而收集到的数据信息将会被传递到交通云平台，并按照不同的需求储存到数据库当中，接下来会按照实时处理和历史统计等系统需求，选择内部不同类型的处理架构为用户提供便捷服务。4.2 数据迁移目前，很多交通数据都被储存在关系型数据库当中，为了便捷统计和分析，必须要将历史数据转移到构建的大数据平台中。根据系统测试分析可知，最佳的方式就是开放远程oracle数据库数据浏览端口，运用开源数据转移工具Sqoop直接将数据导入到HDFS中，此时运行速度将会受到网络带宽的限制。这种方案在测试期间，数据传输过程中并没有出现缺失或是中断，因此符合整体平台系统的建设和运行要求。而Sqoop作为
14、用来转移数据信息的工具，可以将关系型数据库当中的数据导入到HDFS中，也可以将HDFS的数据导入到关系型数据库中，属于一个非常重要的基础组成部分。4.3 数据储存储存与计算作为大数据技术应用与发展必不可少的两项内容，在系统架构中必须要从交通运输角度入手设定相应功能。通信客户端能确保系统接收层获取的数据被传递到云平台，而系统的储存功能可以稳定且持续地储存相关信息数据。在系统接收到上传文件的相关请求后，云平台的Hadoop集群将会启动一个任务，将Job文件块上传到分布式数据库中。如图4所示，其为基于JobTracker启动多个任务的分配框架。本文基于广西目前智能交通运输情况所构建的大数据平台具备数
15、据清洗和噪点过滤等的特征，能有效保障内部数据分析与处理的准确性。而利用智能栅格技术以及压缩策略等也可以进一步减少资源占据的空间4。4.4 数据處理这一模块可以分离处理统计应用和实时应用，以此满足不同类型的用户需求，同时在实践运行中选用了大规模并行计算方式，并设置了空间位置数据实时提取计算模型，有效保障了系统内部数据处理的科学性和准确性。为了达到上述要求，这一模块在处理数据期间所运用的关键技术有：（1）轨迹数据的快速检索技术。利用二进制文件取代传统意义上的数据进行储存，并为系统设计Key-Value储存对，同时运用Key迅速检查Value的特征，并将数据子集储存到Value当中。另外，还会利用H
16、DFS分布式文件和Map Reduce分布式计算编程形式取代传统意义上的关系型数据库，有助于在快速检索的同时，降低数据压缩比例，提升整体运行速度。（2）分布式轨迹的聚类技术。运用Map Reduce分布式计算架构规范处理城市交通运输轨迹，并由此获取并行的K-Means聚类算法。通过明确初始位置，对经常出行的路段实施聚类分析，就能快速得到其中的异常数值。（3）分布式停车点的聚类技术。利用Mahout和Hadoop平台所呈现出的协调功能，能充分展现Map Reduce的可迭代式数据发掘算法，并由此进行分布式计算与分析。（4）地图的匹配技术。地图匹配作为道路交通运输实现智能化的基础内容，主要是利用传感器所提供的观测数据来明确传感器载体在地图上的真实位置。现如今，这一技术和设备被大量引用到交通路段、速度以及密度等方面的检测工作中，其在确定位置信息
