《智能交通大数据综合服务平台方案》由会员分享，可在线阅读，更多相关《智能交通大数据综合服务平台方案（17页珍藏版）》请在金锄头文库上搜索。
1、 智能交通大数据综合服务平台方案 目目 录录 1. 概述 . 3 2. 交通大数据处理平台的功能需求及其逻辑框架 . 5 2.1 交通大数据处理平台需具备的特性 . 5 2.2 交通大数据分析平台逻辑框架 . 6 3. 交通大数据处理平台的构建 . 9 3.1 交通大数据分析平台 . 9 3.2 实时数据流处理子系统 . 11 3.3 资源统一管理与调度 . 14 4. 原型系统实验 . 15 4.1 交通大数据分析实验平台 . 15 4.2 实时交通数据流实验平台 . 15 1. 概述 随着经济发展、城市化进程的加快以及城市规模不断扩大，机动车拥有量及道路 交通流急剧增加，城市紧缺的土地资源
2、和高密度的土地利用模式，使得交通供给与交 通需求之间的矛盾日益突出，交通拥堵、停车困难、环境恶化等交通问题不断加剧， 影响了城市的可持续发展及人民生活水平的提高，阻碍了经济的发展。大城市也面临 同样的问题，近年来机动车保有量持续快速增长，高峰交通拥堵日益加剧，交通发展 面临严峻形势和新的挑战。很多城市在市区主要范围内实施“错峰限行”等交通管理 措施。采取调控交通需求削减交通需求总量其原因之一是城市道路已经难以通过基础 设施规划建设来改善交通。另一方面,如何利用智能交通系统(ITS)来缓解交通、提升交 通效率也是可以着力的一个方向。 目前各交通管理部门建立了功能相对完善的交通指挥控制中心，包括交
3、通信号控 制系统、道路交通监控系统、交通诱导显示系统、停车管理系统、交通违章处理系统 等，初步实现了交通信号控制、道路监控、交通信息综合查询、有/无线指挥调度及交 通诱导等基础功能。ITS 的各种信息采集技术（如微波采集技术、视频采集技术、环形 线圈感应式采集技术等）被广泛地运用于交通数据采集，公安交管部门不仅具备了交 通基础信息，还拥有了各类动态数据，如车辆实时营运信息、道路交通状况等，采集 的数据类型包括属性数据、空间数据、影像数据等。对交通三要素（人流、车辆、道 路）连续不断采集的多源交通数据流产生了巨量的交通数据，具有典型的“3V”特 性：大容量、多样性、高速度，也具有价值、复杂性的特
4、点，属于名符其实的交通 “大数据”。仅以国内某城市内道路卡口数据为例，每天达到约 15GB 的数据量，要 实现对城市道路交通的整体运营水平和人们出行规律的深度挖掘，就要以日、月甚至 年为时间粒度对大数据进行计算和分析。 数据是智能交通的核心，数据为王的大数据时代已经到来。如何高效地从海量数 据中分析、挖掘所需的信息和规律，结合已有经验和数学模型等生成更高层次的决策 支持信息，获得各类分析、评价数据，为交通诱导、交通控制、交通需求管理、紧急 事件管理等提供决策支持，为交通管理者、运营者和个体出行者提供交通信息，成为 当务之急。交通数据分析的发展趋势正如 TDWI 大数据分析报告指出的，由常规分析
5、 转向深度分析，如图 1 所示。 图 1 分析的趋势 在交通数据分析方面，生昕格7交流了交通云数据处理平台的一个具体应用实例， 该平台基于廉价计算机构建集群，用 Hbase 存储大数据，采用 MapReduce 进行分布 式计算；Chen 等8利用 MapReduce 框架对交通流预测；李磊等9论述了基于云计算 的铁路数据中心的逻辑结构。这些工作没有涉及交通大数据处理平台需要面对的各种 应用场景以及系统构建应遵循的原则，如没有涉及实时数据流处理问题。面对交通大 数据，如何存储、组织和管理并提供服务是 ITS 面临的一个挑战。本文针对如何构建 交通大数据处理平台开展研究，主要从使能技术方面展开论
6、述，不对具体业务系统进 行评述。 2. 交通大数据处理平台的功能需求及其逻辑框架 本节通过介绍智能交通系统大数据的特点以及提供服务的要求分析了交通大数据 分析平台需具备的特点，提出了交通大数据处理平台逻辑框架，并进一步阐述了平台 构建的基本原则建议。 2.1 交通大数据处理平台需具备的特性 如前所述，交通服务要提供全面的路况，需要交通综合监测网络对城市道路交通 状况、交通流信息、交通违法行为等的全面监测，采集、处理及分析大量的实时监测 数据，具有数据量巨大的特点；随着城市机动车保有量不断提高，城市道路交通状况 日趋复杂化，交通流特性呈现随时间变化大、区域关联性强的特点，需要根据实时的 交通流数
7、据及时全面采集、处理、分析等，因此具有系统负载时变性高、波动大的特 点，应支持低延时、高并发事务；公众出行服务对交通信息发布的时效性要求高，需 将准确的信息及时提供给不同需求的主体，信息处理、分析实时性要求高；ITS 需面向 政府、社会和公众提供交通服务，为出行者提供安全、畅通、高品质的行程服务，保 障交通运输的高安全、高时效和高准确性，要求 ITS 应用系统具有高可用性和高稳定 性。这给交通大数据处理平台提出了挑战，平台需满足的特性如表 1 所示。 交通大数据处理平台面对海量数据，系统不能仅依靠少数几台机器的升级(Scale- up，纵向扩展)满足数据量的增长，必须做到横向可扩展(Scale
8、-out)，既满足性能的 要求，也满足存储的要求（包括结构性数据、非结构形式、半结构性数据）；由于服 务需求的多样性，平台既要支持交通数据流的实时分析与处理又要支持复杂查询与深 度分析所需的高性能、低延迟需求。平台需具有高度容错性，大数据的容错性要求在 作业(Job)执行过程中，一个参与节点失效不需要重做整个作业。机群节点数的增加会 增加节点失效概率，在大规模机群环境下，节点的失效不再是稀有事件，因此在大规 模机群环境下，系统不能依赖于硬件来保证容错性，要更多地考虑软件级容错，同时 增加系统的可用性。系统的开放性也是十分重要的，在下一小节会知道 ITS 是一个巨 系统，各子系统之间数据交换、共
9、享以及服务集成是必不可少的，同时要求系统支持 迭代开发，可不断更新/增加功能；系统服务不但专业人员可以使用，业务人员也可以 使用，分析可以实现大众化。 另外，平台应支持异构环境。交通大数据平台的建设是分步骤、分阶段进行的， 设备的采购、更新会造成硬件系统的异构，建设同构大规模机群难度较大；另外，对 异构环境的支持可以有效地利用历史上积累的计算机资源，降低硬件成本的投入。 表 1 交通大数据处理平台需具备的特性 特性 简要说明 高度可扩展性 横向大规模可扩展，大规模并行处理 实时性 对交通数据流、事件的实时处理 高性能、低延迟分析 快速响应复杂查询与深度分析、实时分析结 果 高度容错性 系统在硬
10、件级、软件级实现容错 可用性 系统具有相当高的可靠性 支持异构环境 对硬件平台一致性要求不高，适应能力强 开放性、易用性 系统之间可实现数据共享、服务集成 较低成本 较高的性价比 2.2 交通大数据分析平台逻辑框架 ITS 是一个复杂的巨系统。中国 ITS 体系框架6确定了以下内容：用户服务包括 9 个服务领域、47 项服务、179 项子服务；逻辑框架包括 10 个功能领域、57 项功能、 101 项子功能、406 个过程、161 张数据流图；物理框架包括 10 个系统、38 个子系 统、150 个系统模块、51 张物理框架流图；应用系统有 58 个。ITS 内容庞多、结构 复杂、技术含量高，
11、需要多个领域、多个部门的长期合作。ITS 涉众面广，包括政府部 门、企业、公众，由此决定了其信息服务需求的多样性：交通指挥部门需要实时连续 交通监控（如流量、平均车速、饱和度、占有率等）；城市规划部门需要当前和历史 路网交通流和交通需求数据；出行者需要即席查询交通信息等。因此，涉及交通数据 流实时分析处理（RTAP）、联机事务处理（OLTP）、联机分析处理（OLAP）、联机 分析与挖掘（OLAM）等功能。 图 2 大数据分析与处理平台通用体系结构 为此，构建交通大数据分析与处理平台需要结合分布式并行处理技术与实时数据 流处理技术。其逻辑功能框架如图 2 所示。层次功能结构逻辑如图 2 右半部分
12、所示， 自底向上分别是分布式存储层、分布式处理层、元数据服务层、处理分析层（包括复 杂事件处理 CEP、实时分析处理 RTAP、联机分析处理 OLAP、深度分析 OLAM）以 及交通大数据分析处理应用层；同时，需要对分布式系统进行作业、资源调度、管理 的协调与监控中间件的支持，支持工作流及其调度的设施。而在图 2 左半部分则展示 了交通大数据分析与处理平台的部件结构图，在逻辑上可划分为实时数据流处理子系 统与大数据深度分析（知识获取与模式发现）子系统。 实时数据流处理子系统接受实时交通数据流，数据流元组记录随时间变化的空间 （如位置、区域等）信息、以及车牌、卡口、速度等属性数据或视频、图像数据，具 有动态、海量、高维、时效、连续、多源、无限等特性。该子系统是实现实时交通监 控系统的数据基础，能够为指挥调度、道路规划、事故预警等交通信息管理和决策提 供支持，为交通用户提供更为全面和便捷的服务。该子系统包含数据流管理系统，提 供对数据流的连续查询和混合查询支持。连续查询用于实时持续不断地监控，如“查 询超速的车辆信息”以及“开始监控违法车辆行踪”是连续运行的查询，后者涉及空 间数据库。用户可以指定连续查询的滑动时间窗口，对于进入窗口且符合查询条件的 事件进行报警监控。混合查询用于那些不仅
