《大数据企业架构讨论课件》由会员分享，可在线阅读，更多相关《大数据企业架构讨论课件（21页珍藏版）》请在金锄头文库上搜索。
1、,大数据企业架构讨论,案例研究：智慧交通,大数据实时处理和分析 目的：提高城市交通的科学管理和组织服务水平,业务目标 智能交通数据的有力支撑 智能交通公共信息服务的实时传递和快速反 应的应急指挥 智能交通业务联动快速应对变化 可视化事件跟踪,挑战 近千万辆轿车、轨道交通、快速公交系统 高并发事件及数据流的实时处理 海量非结构化大数据的组织与分析, 压力传感器 传感 速度传感器 器 生物传感器 温度、湿度,RFID, 射频天线扫描 电子标识,摄像 高速拍照 头 高清摄像头,3,车地双向实时无线通信网数传电台,政府专网,Internet,GPRS/CDMA/3G/Wi-Fi/WiMax光纤TCP/
2、IP,公路可视化综合信息平台 雷达测速GIS,公共交通运营管理平台 监控车次号识别 紧急救援CBTC 旅行时间路径识别,城市综合信息管理平台,通信,ETC,PIS,信号,BRT,公交调度管理,电警,接处警卡口,交通诱导信号控制 出行者信息系统,视频监控,智能停车场,电子站牌,事件检测,用户服务,政府企业,个人,公共,感知层/ 信息采集,网络层/ 信息传输,应用层/ 信息处理,水运综合管理平台,ITS智能交通物联网平台,交通行业,信息服务,智能交通整体规划架构,铁路综合管理平台,4, 深度分析 敏捷开发 高度扩展性 实时分析结果,大吞吐量 实时准备 所有的数据源及数据结构, 低延时 高并发的交易
3、 高度灵活的数据结构,数据获取,数据传输,数据处理,数据是智能交通的核心,数据获取,数据传输数据处理,People.Process.Portfolio.,Discussion,实时事件处理 概念图解,业务场景 重要车辆监控 交通诱导 出行者信息, 技术机遇 实时处理大数据量 合并历史事务和实时事务,架构决策 实时流 利用现有分析 最大限度地减少数据移动,实时,批处理,流 （CEP 引擎）,警报 BPEL 移动 信息板 数据库,NoSQL,HDFS,实时分析数据流,实时数据源,CEP,RDBMS 实时位置,NOSQL,外部数据库 黑名单,小型机 历史事务,备份 历史配置文件,RDBMS 事务,历
4、史数据源,计算配置文件,实时事务 （基于消息）,Hadoop 集群,事件处理,规则和结果,关联和分析 概念图解,NoSQL,BI 平台与分析,业务机会 行车路线建议 信号控制 交通流量分析,技术选择 将缩减结果集成到关系数据 库 构建另一个环境 手动关联,架构决策 使用集成元数据 使用标准 BI 平台 最大限度地减少数据移动,数据仓库,数据集市,数据库中的 分析,MapReduce,HDFS,实时处理和分析 逻辑图解,关键组件,Oracle 大数据机 Oracle Exalogic Oracle CEP/Coherence Oracle SOA Suite Oracle 大数据连接器 Orac
5、le Exadata Oracle Advanced Analytics Oracle Exalytics Oracle BI Foundation,Oracle 大数据机,Oracle 大数据连接器,Oracle Exadata,Oracle Exalytics,InfiniBand,Infini,Band,Oracle Advanced Analytics,Oracle BI,HDFS 和 NoSQL MapReduce,CEP/SOA Coherence,消息流,Oracle Exalogic,People.Process.Portfolio.,Discussion,问题, 请为自己公司
6、/单位设计一个大数据的解决方案。分组讨,论结束之后，每组派一到两个代表上来讲一下这个方案 A) 公司里存在哪些数据 结构化/多结构化/大小/实 时数据/流式数据 公司是否已经应用了非关系型数据库 B)那些业务考虑引入大数据 C)有了这些大数据，如何设计公司的大数据平台 D)公司数据的问题或者远景 企业的数据架构远景,岳.,。,同ACL1,a: .a吕.S,案例：Facebook数据仓库架构,HadoopFacebook 世界上第二大Hadoop集群 用于处理 log 和dimension data Use Case 从大量数据中产生每天和每小时的汇总. 在历史数据中执行 ad hoc jobs
7、 事实上作为一个长期的数据归档 根据特定属性来查找log, 可用于维护站点的 一致性，保护用户免受垃圾邮件影响,13,Hadoop Map/Reduce实时分析 真实情况,Real time(msec/sec),Near real time(Min/Hours),Batch(Days.),实时分析 传统的分析应用,垂直扩展(Scale-up)数据库 使用传统的SQL数据库 使用存储过程生成事件驱动报表 使用闪存盘，以减少磁盘I/O 使用只读副本横向扩展(Scale Out)只读查询 限制： 无法写扩展 昂贵的成本(HW&SW),实时分析 Complex Event Processing(CEP
8、),当数据到来时立即处理数据 维护内存数据窗口 优势： 延迟极低(mS级) 相对低的成本 劣势： 难于扩展(横向扩展局限) 不敏捷（查询必须预生成）,实现非常复杂,实时分析 In Memory Data Grid,分布式内存数据网格 横向扩展(Scale out) 优势： 读/写可扩展 适合事件驱动(CEP style),ad-hoc查询模式 劣势： 相比磁盘，内存成本昂贵, 内存容量有限,实时分析 No SQL,使用分布式数据库 Hbase, Cassandra, MongoDB 优势： 读/写可扩展 海量数据支持 弹性 缺点： 读延迟，实时性差 弱数据一致性 不成熟-非常新的技术,Facebook实时分析系统（实时+批量）,Memory Grid,PTail Puma3,Facebook实时分析- Put all together,内存数据网格 实时处理网格 轻量级事件处理 Map-Reduce 事件驱动 代码随数据执行 基于交易 安全 弹性 NoSQL数据库 低成本存储 读/写扩展能力 动态扩展 裸数据和汇总数据,部分网站大数据实时分析架构,Storm + Pig + Vertica +Cassandra+ MySQL,S4 + HBase/Cassandra + MySQL,Kafka + Dynamo + MySQL,
