《{管理信息化大数据分析}构建新一代企业大数据平台》由会员分享，可在线阅读，更多相关《{管理信息化大数据分析}构建新一代企业大数据平台（35页珍藏版）》请在金锄头文库上搜索。
1、,建立在PAAS平台上的新 一代数据平台解决方案,Agenda,企业新一代数据平台的技术需求 创新的技术平台建设思路,面向大数据的分析,Now What? So What? What?,大数据分析 企业内、外部的结构化和非结构化数据 数据量在TB级以上 以数据挖掘、预测和实时分析为主，强调对业务驱动,传统BI 分析 企业内部的结构化数据， 数据量在GBTB级 以报表、查询和分析为主，反应当前业务现状,更丰富、更细致的客户管理,大数据分析在企业的应用,更准确、更及时的营销管理,更高效、更全面的风险管理,Customer 360o Single View,Key Life Events & Nex
2、t Best Action,Stress Test & Credit Assessments,通用银行业大数据分析平台,管理分析类应用,数据交换平台,应用集市数据区,核心系统,总账系统,国结系统,网银系统,系统,企业内外部半结构化、非结构化数据,数据传输,数据稽核,数据处理,流程调度,监控告警,非结构化数据区,沙盘演练数据区,用户评价信息,移动互联信息,历史归档数据区 HDS,客户主题,协议主题,产品主题,事件,沙盘演练应用,实时分析应用,POS增量,财务增量,库存增量,采购增量,增量,临时数据区,实时数据区,核心数据,总账数据,国结数据,数据,主题数据区,社交媒体信息,网银数据, ,客户管理
3、,财务管理,风险管理,管理,客户管理,财务管理,风险管理,管理,运营管理,决策人员,管理人员,数据科学家,业务人员,客户汇总,账户汇总,机构汇总,产品汇总, ,企业大数据平台数据内容及实现技术,Page 7,应用平台提交请求访问的数据，包括结构化和非结构化两类,在线存储周期超过数据生命周期规划的数据 适合Hadoop分布式架构管理,无法用二维表结构来逻辑表达的无结构性的数据。例如文本、音频数据等。,方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如：客户信息、用电记录等。是挖掘数据价值的主要对象。,支持分析型应用，时效性较低,支持前台交易系统查询需求，具有可靠性高、
4、并发度大、采集频率短的特点,按数据格式类别划分,按数据格式类别划分,按数据采集频度划分,大数据 平台,在线数据,归档数据,非结构化数据,结构化数据,准实时数据,非实时数据,面向贴源数据查询和主题数据整合。 数据区，适合X86MPP数据库集群,范式化模型数据,面向分析类应用。 对应ADW和CM数据区，适合MPP数据库集群,维度模型数据,按数据模型划分,Page 8,企业大数据平台架构原则平台,8,技术-跨平台数据交换 批量和实时数据采用不同的技术手段和工具，遵循统一的文件接口标准 技术-平台内数据复制 跨同构/异构数据库（物理系统），基于文本、数据库的数据抽取和加载，数据的形式不发生变化，不涉及
5、数据转换。 数据复制后产生的数据副本主要是为了便于数据引用，需要制定数据副本的生命周期管理策略以及保证数据副本的只读属性。 数据-数据即服务 业务人员通过逻辑数据对象组件访问数据，而不用关心数据的物理存储方式。通过全行指标口径和维度、度量信息，使业务人员可以较容易、较快地定位和了解数据的内容。 数据-数据质量控制 通过一系列的技术和业务手段实现数据集成平台数据质量控制，主要体现在数据正确性（技术）、完整性、一致性（业务）、有效性。,Page 9,企业大数据平台架构原则平,9,数据-历史数据分级存储和访问 近线数据存储形式保持源表源结构，主要以数据库形式存储，支持在线数据查询、访问和应用支持，响
6、应时间秒级。归档数据以廉价大容量磁盘方式存储，存储形式会根据数据环境和未来应用的差异，采用不同于源结构的存储形式。同时，归档数据需要创建“被动索引”并具备恢复到主题数据区或者汇总数据区的能力。 数据-非结构化数据管理 对于交易和处理过程中形态尚不稳定的非结构化数据，可由各平台根据时效性、一致性控制和完整性控制等要求考虑自行处理 安全-数据访问安全 对于普通的查询访问应用，应该具备屏蔽敏感信息的展现的能力。面向行内用户的数据访问，应按照数据的属主进行访问隔离。 运维-系统日常运行性能管理 在数据量不断增加、访问用户数量的增长、用户数据使用成熟度的变化、数据ETL持续滚动开发等场景的不断变化下，需
7、要围绕日常性能管理，不断调整系统设计和运行策略。,建设新一代数据平台的驱动力,完整的大规模数据的快速捕获流程 多种类型数据的存储 数据的实时共享与交换 海量&剧增数据的支撑能力 传统数据仓库技术和新技术的结合 Hadoop技术的合理运用与性能,Agenda,企业新一代数据平台的技术需求 创新的技术平台建设思路,CONSUMER GRADE,先行者: 服务于海量客户的互联网巨头企业,Mainframe,Software-Defined Datacenter,New Data-fabrics,新的客户体验 新的业务模式 由服务于海量客户的互联网巨头企业引领潮流,Client-Server & We
8、b,CONSUMER GRADE,先行者: 服务于海量客户的互联网巨头企业,Mainframe,Software-Defined Datacenter,New Data-fabrics,新的客户体验 新的业务模式 由服务于海量客户的互联网巨头企业引领潮流,Client-Server & Web,存储并且在非常大量的数据上进行分析,CONSUMER GRADE,先行者: 服务于海量客户的互联网巨头企业,Mainframe,Software-Defined Datacenter,New Data-fabrics,新的客户体验 新的业务模式 由服务于海量客户的互联网巨头企业引领潮流,Client-S
9、erver & Web,快速 应用开发,存储并且在非常大量的数据上进行分析,CONSUMER GRADE,先行者: 服务于海量客户的互联网巨头企业,Mainframe,Software-Defined Datacenter,New Data-fabrics,新的客户体验 新的业务模式 由服务于海量客户的互联网巨头企业引领潮流,Client-Server & Web,快速 应用开发,存储并且在非常大量的数据上进行分析,大规模 自动化运维,企业级的需求 ,快速 应用开发,Mainframe,Client-Server & Web,CONSUMER GRADE,存储并且在非常大量的数据上进行分析,新
10、的客户体验 新的业务模式 由服务于海量客户的互联网巨头企业引领潮流,来自金融企业的独有需求 ,快速 应用开发,Mainframe,Client-Server & Web,CONSUMER GRADE,存储并且在非常大量的数据上进行分析,新的客户体验 新的业务模式 由服务于海量客户的互联网巨头企业引领潮流,收集数量庞大的事件数据的同时对特定交易事件进行实时反应,与传统应用和基础架构有机配合,来自金融企业的独有需求 ,快速 应用开发,Mainframe,Client-Server & Web,CONSUMER GRADE,存储并且在非常大量的数据上进行分析,新的客户体验 新的业务模式 由服务于海量
11、客户的互联网巨头企业引领潮流,收集数量庞大的事件数据的同时对特定交易事件进行实时反应,与传统应用和基础架构有机配合,New Experiences New Biz Models pioneered by new Consumer Internet giants,Internet-of-things Pervasive telemetry,Mainframe,Client-Server & Web,CONSUMER GRADE,Operate at Scale in a highly automated way,新一代 PaaS 平台,快速 应用开发,收集数量庞大的事件数据的同时对特定交易事件进
12、行实时反应,存储并且在非常大量的数据上进行分析,与传统应用和基础架构有机配合,新一代Paas平台建设思路,Software-Defined Datacenter,New Data-fabrics,New Experiences New Biz Models pioneered by new Consumer Internet giants,Internet-of-things Pervasive telemetry,Mainframe,Client-Server & Web,CLOUD ERA,Operate at Scale in a highly automated way,AWS,VMW
13、,.ETC,Pivotal: 面向数据的企业级Paas平台,Pivotal Platform,From VMware,From EMC,存储并且在非常大量的数据上进行分析,在收集数量庞大的事件数据的同时对特定事件进行实时反应,快速 应用开发,配合不同云计算平台实现 高效运维和水平扩展,与传统应用和基础架构有机配合,Software-Defined Datacenter,New Data-fabrics,New Experiences New Biz Models pioneered by new Consumer Internet giants,Internet-of-things Perva
14、sive telemetry,Mainframe,Client-Server & Web,CLOUD ERA,Operate at Scale in a highly automated way,AWS,VMW,.ETC,Pivotal: 面向数据的企业级Paas平台,Pivotal Platform,From VMware,From EMC,Cloud Abstraction & App Automation,.ETC,支持开放标准并与开源有效互动 强调以数据为中心 兼顾各种数据类型处理 充分关注新一代开发人员和新一代企业级应用的需求 为有效进行实时大容量信息处理而设计 同时兼顾与传统应用的
15、互操作性 与传统技术的有效结合,Pivotal One: 重新定义企业级 PaaS,Pivotal One: 来自EMC和VMW的技术体系整合,GemFire,Pivotal Data Science Labs,创新：以数据支撑为中心,Cloud Storage,Virtualization,Pivotal Data Fabric,Pivotal Cloud & App Fabric,Data-DrivenApplicationDevelopment,Pivotal Data Science Labs,.ETC,完整的新一代企业的数据平台蓝图,分析形数据集市,实时的数据处理,Run-TimeA
16、pplications,企业级数据仓库,大规模数据存储,实时的数据 捕获和共享,Pivotal 数据支撑架构的解决之道,Greenplum 数据库：极速分析平台,并行处理架构 MPP shared-nothing 架构，基于通用X86平台 PB级以上海量存储，最大支持10000节点以上 所有节点并发IO，实现超大IO吞吐，并行运行SQL 自动化并行 自动化并行计算,实现超大计算能力 使用同传统DB一样，加载和运行SQL 数据多节点分布及高可用性都由DB自身实现 极佳的横向扩展性 在线横向扩展 容量、加载和SQL查询性能随节点线性增加 专为BI及数据分析优化 深度整合统计数学模块（SAS,SOLR,MADLIB,R） 高性能并行SQL执行器,MPP shared-nothing 架构,构建在X86开放平台上的并行处理架构,Greenplu
