《CAD数据分析师：智慧交通大数据平台及应用》由会员分享，可在线阅读，更多相关《CAD数据分析师：智慧交通大数据平台及应用（30页珍藏版）》请在金锄头文库上搜索。
1、智慧交通大数据平台及应用ADD YOUR POWERPOINT TITLE HERE演讲人：曹正凤第第四四届届中中国国数数据据分分析析师师行行业业峰峰会会 CHINA DATA ANALYST SUMMIT北京 中国大饭店 2017.07个人简介 曹正凤统统计计学学博博士士 北北京京大大数数据据协协会会 理理事事 经经管管之之家家（原原人人大大经经济济论论坛坛）大大数数据据课课程程培培训训负负责责人人 首首发发集集团团智智慧慧交交通通大大数数据据中中心心筹筹备备组组负负责责人人博博士士论论文文：随随机机森森林林算算法法优优化化研研究究 出出版版专专著著：从从零零进进阶阶！数数据据分分析析的的统
2、统计计基基础础 E EI I 核核心心论论文文：P Pa ar ra am me et te er r S Se et tt ti in ng gs s o of f G Ge en ne et ti ic c A Al lg go or ri it th hm m B Ba as se ed d o on n M Mu ul lt ti i- -F Fa ac ct to or r A An na al ly ys si is s o of f V Va ar ri ia an nc ce e主主持持全全国国统统计计科科学学研研究究项项目目：基基于于大大数数据据平平台台的的我我国国宏宏观观经
3、经济济走走势势预预测测研研究究第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT从从零零进进阶阶！数数据据分分析析的的统统计计学学基基础础2017/7/17第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT目 录 123大数据团队概况及建设方案智慧交通大数据平台智慧交通大数据应用第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT大数据部的组织架构2017 BigData Department技术总监产品团队（3）开发团队（4）平台团队（4）数据团队（4）QA 团队（2）第四届中国数据分析师行业峰会CHINA D
4、ATA ANALYST SUMMIT强大的技术架构 团队共19人 技术总监1 人 专业数据挖掘分析师4 人 大数据可视化工程师1 人 需求分析师3 人 总工程师1 人 高级软件工程师5 人 架构师1 人 业务经理1 人 QA 管理 1 人第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT2017 BigData Department 博士学历2 人 研究生学历8 人智慧交通大数据中心建设方案（1+N 战略）第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT一期建设的内容第四届中国数据分析师行业峰会CHINA DATA ANALYST SU
5、MMIT2智慧交通大数据平台智慧交通大数据平台建设的目的和意义人人都能进行大数据分析第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT大数据学习门槛高spark mahout JAVA JDBC第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT开源大数据平台的开发难度高例如，黑屏命令行操作维护方式，增加了运维开发人员的工作难度、操作量，降低的工具的友好性。第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT开源大数据平台运维成本高大数据集群数量众多的服务器不便于整体的部署与管理。1. 资源监控2. 组件部署3.
6、资源分配4. 辅助工具第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT2智慧交通大数据平台智慧交通大数据平台的功能特性第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT功能特性各种异构数据的全方位汇集 我们的产品第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT功能特性-拖拽 式、图形化大数 据分析环境，降 低门槛和使用难 度第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT 功能特性便于维护自自动动部部署署 操作系统、LDP 平台自动化 部署功能 添加、批量移除，触发 hadoo
7、p、hbase 等服务的一 系列处理服服务务器器状状态态监监控控 CPU、内存、网络、磁盘运 行状态 超过阀值报警第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT参参数数配配置置优优化化 图形化界面操作，配置过程 简单、易操作； Hadoop 基础组件（Hadoop- core、Hive、HBase）配置 参数 1000+；任任务务监监控控 清晰的看到主机上运行了那 些任务，任务的运行状态， 是正常运行还是有故障 各个任务运行的内存、CPU 的使用情况认CHINA DATA ANALYST SUMMIT证 功能特性安全可靠安全授权细粒度访问控制基于角色的管理 LD
8、P 平台可以控制数据访问，并对已通过验证的用户提供数据访问特权。 LDP 平台支持细粒度的Hadoop 数据和元数据访问控制；在服务器、数据库、表和视图范围提供 了不同特权级别的访问控制，包括查找、插入等；允许管理员使用视图限制对行或列的访问，支 持字段级别的访问控制； LDP 平台通过基于角色的授权简化了管理，可以将访问同一数据集的不同特权级别 授予多个组。多租户管理 LDP 平台允许为委派给不同管理员的不同数据集设置权限。机器级别的安全 对可信任的客户端提供认证，确保他们可以执行作业的相关操作。防止用户恶意冒充 client 提交任第四届中国数据分析师行业峰会务。即使伪装成用户入侵到一个H
9、DFS 或者MapReduce 集群上，也无法读取HDFS 上的数据。3智慧交通大数据应用综合稽查第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMITBI展示视频结构化基于大数据平台的综合稽查产品概况综合稽查第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT针对当前高速公路的逃费问题，提出了一套基于大数 据分析的高速公路防逃费稽查方案，本系统方案利用 当前高速公路视频监控系统的可视化视频和图片信息 结合通行信息，运用大数据存储和分析的手段，从海 量历史数据中提取出疑似逃费车辆和黑名单的车牌、 抓拍图片、通行视频和通行路径等证据信息，形成逃
10、费证据链信息，该证据链信息可有效用于高速公路路 政执法、公安执法，为打击高速公路偷逃费、嫌疑车 辆定位提供了完善的稽查手段和证据信息。主要功能嫌疑车辆确认、黑名单管理、车辆特征管理、动态超 时管理、数据稽查审核管理、证据链管理、车票及通 行券路径查询。综合稽查系统架构第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT异车倒卡处理流程第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT黄冀GC9035 百泉庄双向入 土桥站内环出黄冀GC9582 潞苑北街站双向入 双横双向出 应应缴缴：125+145 实实缴缴：20+10 逃逃费费：240第四
11、届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT同车倒卡处理流程第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT黄黄冀冀G GB B8 87 79 92 2 2 20 01 16 6- -8 8- -4 41 15 5：3 32 2： 0 05 5 康康庄庄出出京京出出黄黄冀冀G GB B8 87 79 92 2 2 20 01 16 6- -8 8- -4 4 9 9：3 38 8： 1 12 2 百百泉泉庄庄双双向向入入应应缴缴：215元元 实实缴缴：70元元 逃逃费费：145元元 正正好好不不超超时时第四届中国数据分析师行业峰会CH
12、INA DATA ANALYST SUMMIT黄黄冀冀G GB B8 87 79 92 2 2 20 01 16 6- -8 8- -4 4 1 13 3：4 46 6： 0 00 0 长长阳阳内内环环入入应用之二: 视频数据 分析第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT车辆多维 特征提取交通事件 检测交通参数 提取以图搜图应用之三：基于大数据平台的实时BI展示实时动态显示交通流量，时间 间隔为2s实时动态显示收费任务完 成进度实时动态显示按路段收费 金额汇总第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT批量计算(按车型统计
13、车流量)目的：实现每日从业务系统抽取交易数据，并按车型汇总交通流量。批量计流程：1、每日凌晨2点，Sqoop从分中心数据库(SqlServer)抽取数据到Hive（由于车道数据上传到分中心有延迟，故2小时候启动导入）2、启动spark任务进行统计计算，并将结果写入到Mysql 按车型统计每小时交通流量和收费数据 按车型统计每天交通流量BI展示：JAVA 实现Web服务读取批量计算后的数据通过Web浏览器展现第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT架构设计业务系统可视化大数据分析平台BI系统业务系统 数据库每日增量导入Hadoop (HIVE)Spark批量计算BI系统 数据库MS SqlserverSqoop每日定时导入数据 Impala结合SparkSQL实现统计运算第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMITmysql第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMITTHANKS第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
