《交通管控大数据分析研判系统》由会员分享，可在线阅读，更多相关《交通管控大数据分析研判系统（24页珍藏版）》请在金锄头文库上搜索。
1、交通管控大数据分析研判系统Revised on November 25, 2020交通管控大数据分析研判系统设计 方 案 目录1 系统概述系统背景随着经济迅猛发展，机动车辆不断增加，道路交通拥堵、交通肇事现象也 越来越严重。交通管理部门部署了大量交通监控设备对道路交通情况进行监 控，这些设备24 小时不间断捕获过车数据和图像数据，产生了海量的历史记 录。在此情况下，如何利用先进的技术手段，对交通监控设备采集的海量的、 格式多样的数据进行深度分析应用，对海量数据进行查找、关联、比对等处 理，实时发现其中潜在的问题并预警,成为当前迫切需要解决的问题。主要体现在以下两个方面：一是交通管理部门的现有系
2、统还处于结构化数 据处理模式架构体系中，要实现对城市道路交通的整体运行状况、车辆出行规 律等方面以日、月甚至年为时间粒度进行数据分析还存在不足。二是交通管理 部门的现有系统在对这些具有逻辑关联的海量多源异构数据处理过程中，数据 存储结构、处理种类、处理效率等方面仍存在不足，不能满足持续扩大的交通 管理数据规模以及对数据深度快速挖掘和应用需求。交通管控大数据平台构建了一个支持横向扩展，具有分布、并行、高效特 点的大数据处理平台的体系架构。综合运用云计算、云存储、并行数据挖掘、 图像识别等技术，开展数据的存储、挖掘、联动、分析。通过将电子监控设备 的数据、图像等异构的数据资源接入大数据处理平台，通
3、过分布式存储和并行 数据挖掘，提供在线实时分析模式和离线统计分析模式两种应用模式，对交通 管理的各类大数据全方位地进行实时和离线分析处理。可以将隐藏于海量数据 中的信息挖掘出来，可全面掌握道路通行情况，为策略制定、分析研判、行动 部署提供依据，大大提升综合管理的集约化程度。系统意义（1）信息查询和预警分析借助在线实时分析、离线统计分析和数据共享等手段，通过接口与集成指 挥平台等各个业务系统关联，高效开展交通管理工作。例如通过分析一段时间 内的过车信息进行查询分析对比，确定该时期造成交通拥堵的主要原因和发展 趋势，对交通拥堵的发生进行一定的预测和判断，并采取相应的管控措施控制 诱发交通拥堵的原因
4、，科学预防交通拥堵。（2）多维度布控打击违法犯罪通过车辆特征二次识别比对，可对特定车辆的局部特征进行提取分析和建 模，在车辆号牌信息缺失（套牌、遮挡号牌或无牌）情况下，按照车辆品牌、 型号、颜色、类别以及局部特征等自定义组合布控报警，准确快速地实现特定 车辆追踪与锁定，获取车辆真实行踪，将有价值的图片数据提供给公安刑侦部 门，为侦破交通肇事逃逸案、利用机动车作为犯罪工具的刑事案、以及抢劫出 租车等恶性案件提供线索和证据，为刑侦部门确定线索侦查破案提供支持。（3）大粒度的数据分析为决策提供支持通过交通流大数据采集存储、流量查询分析，车辆特征研判、车辆轨迹分 析等深度应用，系统不仅仅可以实现对车辆
5、和人员的分析研判，通过大量数据 的积累和变化规律进行深度的信息挖掘，帮助决策者和管理者提供有价值的线 索信息，同时结合车驾管数据库，开展交通信息综合分析研判。研发原则项目建设总体上坚持“结构上的整体性、技术上的先进性、使用上的稳定 性、经济上的合理性、实施上的安全性、操作上的友好性、升级上的可拓展 性”原则，建设综合信息的统一管理、展示、控制平台，制定安全可靠的集成 规范，完成各业务系统的智能协调联动功能，实现资源集成、数据集成、业务 集成、控制集成和展现集成。1、实用性原则项目采用技术和解决方案应该具有很强的实用性，系统建设应始终贯彻面 向应用、注重实效的方针，坚持实用、经济的原则。2、先进
6、性原则采用先进、成熟的方法和技术，各种先进方法和手段应该充分考虑阜阳市 社会可行性、法律可行性、管理可行性、技术可行性。既注意概念、技术和方 法的先进性，又要注意成熟性。使项目能反映当今的先进水平，并具有一定的 发展潜力。3、资源共享信息资源共享是本项目的主要项目目标之一，需要注意本项目与业主方已 建智能交通信息化成果之间的信息互联与资源共享。4、可持续性系统设计采用合理的、有弹性的架构，并预留有一定的接口，保证系统能 进行不断的完美和扩展。5、开放性和标准性注意遵循相关的技术标准和行业标准，并采用合理的系统架构，不采用垄 断技术，保证系统的开放性和标准性。6、可靠性和稳定性从系统结构、技术措
7、施、设备性能、系统管理、厂商技术支持及维护能力 等方面着手，确保系统运行的可靠性和稳定性，达到设计的最大平均无故障时 间。7、安全性和保密性 在考虑信息资源的充分共享的同时，注意对信息的保护和隔离，采用系统 安全机制、数据存取的权限控制等方案解决系统安全性问题。8、扩展性和易维护性 采用先进的软件工程理论、良好的系统设计，以及分层和代理的方法等方 法，保证实现的系统层次清晰、模块合理，接口协议开放，保证系统的扩展性 和易维护性。系统内容交通管控大数据平台由 5 类服务器组成，包括：数据接入服务器、数据库 服务器、流处理服务器、二次识别服务器、应用服务器。（1）数据接入服务器：统一接入卡口、电警
8、过车数据和过车图片，并按大 数据架构统一转换管理。（2）数据库服务器：管理节点作为主服务器，管理 Hadoop 文件系统的命 名空间和客户端对文件系统的访问操作。可进行节点安装、配置、服务配置 等，对Hadoop服务器进行实时状态检测。数据节点管理存储的数据，支持PB 级数据和图片存储和数据索引管理。（3）流处理服务器：基于 Spark 的大数据云计算技术，支持高速查询和低 延时的统计能力，实现亿以上的过车记录大数据量秒级检索能力。（4）二次识别服务器：于大数据下深度学习的图像识别技术，支持车辆号 牌、品牌型号、车身颜色、车辆型号等信息关联比对。（5）应用服务器：部署交通管控大数据平台系统软件
9、和数据发布软件。2 需求分析业务需求面向交通管理的大数据业务需求随着城市交通拥堵问题顽固化、复杂化和多样化，交通管理工作面临着从 事后分析向事前研判预警拓展、从历史统计向在线分析挖掘拓展、从简单应用 向综合服务评价拓展的内在需求发展方向。并对管辖范围内的车辆出行规律等 方面以日、月年为时间粒度进行实时和历史统计分析，并对现有信息开展任意 范围内的快速检索和实时统计分析，并将结果可视化显示。面向交通安全的大数据业务需求管理路面违法、假/套牌、肇事车辆、黑车等重点布控车辆、维护交通安全 和事故处理是交管部门的另一项行政管理职能。基于大数据系统，通过大量历 史数据对涉案车开展比对，形成对涉案车辆行为
10、的分析及涉案车辆的匹配分 析，为精确打击违法行为提供证据，按照车辆特征进行布控，有效提升现有违 法查处的精准打击和查缉布控能力。功能需求基于大数据的在线统计和离线分析需求以总量统计、信息查询等业务数据检索的后台软件模块为支持，通过大数 据系统备份或抽取历史数据资源，重构数据结构，并为每一种应用添加算法模 块，实现对大批量信息检索及统计分析的实时处理。基于大数据的车辆特征分析需求以基于海量卡口数据获取车辆出行OD，挖掘车辆通勤出行行为，分析车辆 通勤行为特征与交通拥堵相关性分析，研究拥堵路段车流集散、车辆属地属性 发展变化规律。准确统计道路交通、卡点进出车辆流动情况，为合理调配警 力、提高车辆管
11、理水平提供科学依据。基于大数据的违法事故分析需求基于大数据系统进行违法和事故数据的关联分析，从不同视角研究违法和 事故成因，定期将交通违法、事故的相关驾驶人特征与车辆特征进行分析，按 类掌握违法、事故中高发、易发的驾驶人与车辆，为重点管理的群体提供数据 支撑。通过大数据平台对交通违法、事故数据及属性开展关联分析，定期将违 法、事故与驾驶人特征，包括培训考试过程、工作单位、家庭背景等因素，与 车辆特征，包括品牌、车型、营运性质、号牌属地、车身颜色、车辆保养等因 素，与道路特征，包括道路类型、线性、天气、时间、环境、设施等相关联 的，集中分析掌握违法、事故中高发、易发的驾驶人、车辆和道路，为管控提
12、 供最为真实的资料和依据。基于大数据的勤务快速处置需求在岗执勤民警通常负责的是一个区域的交通管理工作，很难掌握管辖区域 内所有路口路段的实时交通状况。基于对过车流量特性的大数据分析，可为交 管人员分析管辖区域内交通流量情况，为在岗执勤民警提供更加准确的拥堵 点，有助于交管人员日常勤务安排和以及上下游及时联动和快速反应。 基于大数据平台的车辆特征二次识别需求过车图片里面包含了很多信息，这些信息是卡口设备本身无法有效识别出 来的信息，例如车辆品牌、车辆型号等。基于大数据系统的车辆特征二次识别 技术从根本上克服了传统车辆检索只能按照号牌进行单一查询的功能缺陷，实 现了按照车辆品牌、型号、颜色、类别以
13、及局部特征等自定义组合查询和模糊 查询强大功能。在不改变现有卡口设备的情况下，就能够挖掘出更多的车辆特 征，便于实现更多应用，有效利用了现有卡口设备，降低不必要的卡口重建投 入。基于大数据平台的技战法需求通过过车图片、行驶行为特征分析和人员、车辆档案关联分析，确定各类 涉案人员/车辆的详细信息。以全库精细搜索和模糊查询，实现一定时间内经过 各采集点特定车辆行车轨迹分析，记录轨迹路线信息并在 GIS 地图中进行可视 化展示和报警，形成行驶轨迹数据的高速检索。对同一辆车在多个监控点出现 的轨迹进行时空分析，实现对任意时间和地区范围内重点车辆行驶规律的分析 研判，并预测一定时间内高概率出现的区域。性
14、能需求高并发实时数据采集需求采用Kafka消息队列，良好兼容Hadoop系统，可通过SQL访问，延迟在2 秒内。海量数据存储需求采用Hadoop和HDFS文件系统，具备PB数据级别的在线存储能力，数据容 量可动态扩展。分布式流处理需求采用Spark St reaming，支持分布式数据集上的迭代作业，每一个批次的 数据的时间间隔在100ms。车辆二次识别需求可检测200万、300万、500像素的图片，单张图片处理速度平均为，单台 日处理最多为80万张，检测正确率85%。3 架构设计总体应用架构交通管控大数据分析研判平台分为数据层、采集层、处理层、存储层、应 用层等层次架构。系统总体结构如下：采
15、集层：通过设备系统接口或稽查布控系统接口，通过kafka消息总线接 入所辖范围内的设备上报的车辆通行文本信息、图像信息、设备状态信息。处理层：系统通过Spark流计算模块，对海量过车数据进行二次比对分 析，流计算模块根据系统设置的报警条件，可实时进行多种比对计算。存储层：包括Hadoop数据库，用于存储海量结构化数据和非结构化数据。 可通过动态增加节点，提升吞吐能力，扩展存储、查询、分析性能。应用层：包含实时预警、信息检索、信息查询、统计分析、技战法分析、 车辆布控等功能。软件框架结构网络部署架构平台部署在公安网内，设备专网数据通过边界交换平台进入公安网，数据 库服务器、流处理服务器、二次识别
16、服务器可根据数据量规模动态调整。如下 图所示：数据流结构平台通过Kafka消息总线汇聚各类道路交通信息、通过Spark进行实时流 计算，通过HBASE/HDFS进行分布式存储，通过MapReduce进行分布式计算，通 过应用服务器的数据接口，将结果分发给集成平台和各类基础应用系统，进行 信息检索和分析研判。如下图所示：关键技术路线平台采用X86架构通用服务器、“云计算-分布式”架构，实现实时流式计 算、分布式数据存储、高性能并发读写以及分布式计算机分析挖掘。与六合 一、PGIS、等平台有机结合、一体化应用。流数据处理软件支持Kafka消息队列，良好兼容Hadoop系统，可通过SQL 访问，延迟在2秒内；高可靠、高容错、高扩展、高吞吐、充分利用系统资 源
