《大数据构建新一代企业大数据平台精品课件》由会员分享，可在线阅读，更多相关《大数据构建新一代企业大数据平台精品课件（35页珍藏版）》请在金锄头文库上搜索。
1、建立在建立在PAASPAAS平台上的新平台上的新一代一代数据平台数据平台解决方案解决方案Agenda企企业新一代数据平台的技术需求业新一代数据平台的技术需求创新的技术平台建设思路创新的技术平台建设思路面向大数据的分析面向大数据的分析Now What?So What?What?大数据分析大数据分析企业内、外部的结构化和非结构化数据数据量在TB级以上以数据挖掘、预测和实时分析为主，强调对业务驱动传统传统BI 分分析析企业内部的结构化数据，数据量在GBTB级以报表、查询和分析为主，反应当前业务现状更丰富、更细致更丰富、更细致的客户管理的客户管理大数据分大数据分析在析在企企业的应用业的应用更准确、更及
2、时更准确、更及时的营销管的营销管理理更高效更高效、更全、更全面面的风险管理的风险管理Customer 360o Single ViewKey Life Events & Next Best ActionStress Test & Credit Assessments通通用银行业大数据分析平台用银行业大数据分析平台管理分析类应用管理分析类应用数据交换平台数据交换平台应用集应用集市市数据区数据区核心系统总账系统国结系统网银系统系统企业内外部半结构化、非结构化数据数据数据产生层产生层数据数据交换交换层层数据传输数据稽核数据处理流程调度监控告警数据数据服务服务层层非结构化数据区非结构化数据区沙盘演练数
3、据区沙盘演练数据区用户评价信息移动互联信息元数据数据数据应用层应用层历历史史归归档档数数据据区区 HDS客户主题协议主题产品主题事件沙盘演练应用沙盘演练应用实时分析应用实时分析应用数数据据管管控控层层POS增量财务增量库存增量采购增量增量临时临时数数据区据区实实时时数数据据区区核心数据总账数据国结数据数据主主题题数数据据区区社交媒体信息网银数据 客户管理财务管理风险管理管理客户管理财务管理风险管理管理运营管理用户访用户访问层问层决策人员管理人员数据科学家业务人员客户汇总账户汇总机构汇总产品汇总 企业大数据平台数据内容及实现技术企业大数据平台数据内容及实现技术Page 7应用平台提交请求访问的数
4、据，包括结构化和非结构化两类在线存储周期超过数据生命周期规划的数据适合适合Hadoop分布式架构管理分布式架构管理无法用二维表结构来逻辑表达的无结构性的数据。例如文本、音频数据等。方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如：客户信息、用电记录等。是挖掘数据价值的主要对象。支持分析型应用，时效性较低支持前台交易系统查询需求，具有可靠性高、并发度大、采集频率短的特点按数据格式类别划分按数据格式类别划分按数据格式类别划分按数据格式类别划分按数据采集频度划分按数据采集频度划分大数据大数据 平台平台在线数据在线数据归档数据归档数据非结构化数据非结构化数据结构化数据结构
5、化数据准实时数据准实时数据非实时数据非实时数据面向贴源数据查询和主题数据整合。数据区，适合数据区，适合X86MPP数据库集群数据库集群范式化模型数据范式化模型数据面向分析类应用。对应对应ADW和和CM数据区，适合数据区，适合MPP数据库数据库集群集群维度模型数据维度模型数据按数据模型划分按数据模型划分Page 8企业大数据平台架构原则企业大数据平台架构原则平台平台8 8技术-跨平台数据交换批量和实时数据采用不同的技术手段和工具，遵循统一的文件接口标准技术-平台内数据复制跨同构/异构数据库（物理系统），基于文本、数据库的数据抽取和加载，数据的形式不发生变化，不涉及数据转换。数据复制后产生的数据副
6、本主要是为了便于数据引用，需要制定数据副本的生命周期管理策略以及保证数据副本的只读属性。数据-数据即服务业务人员通过逻辑数据对象组件访问数据，而不用关心数据的物理存储方式。通过全行指标口径和维度、度量信息，使业务人员可以较容易、较快地定位和了解数据的内容。数据-数据质量控制通过一系列的技术和业务手段实现数据集成平台数据质量控制，主要体现在数据正确性（技术）、完整性、一致性（业务）、有效性。Page 9企业大数据平台架构原则企业大数据平台架构原则平平9 9数据-历史数据分级存储和访问近线数据存储形式保持源表源结构，主要以数据库形式存储，支持在线数据查询、访问和应用支持，响应时间秒级。归档数据以廉
7、价大容量磁盘方式存储，存储形式会根据数据环境和未来应用的差异，采用不同于源结构的存储形式。同时，归档数据需要创建“被动索引”并具备恢复到主题数据区或者汇总数据区的能力。数据-非结构化数据管理对于交易和处理过程中形态尚不稳定的非结构化数据，可由各平台根据时效性、一致性控制和完整性控制等要求考虑自行处理安全-数据访问安全对于普通的查询访问应用，应该具备屏蔽敏感信息的展现的能力。面向行内用户的数据访问，应按照数据的属主进行访问隔离。运维-系统日常运行性能管理在数据量不断增加、访问用户数量的增长、用户数据使用成熟度的变化、数据ETL持续滚动开发等场景的不断变化下，需要围绕日常性能管理，不断调整系统设计
8、和运行策略。建设新一代数据平台的驱动力建设新一代数据平台的驱动力完整的大规模数据的快速捕获流程完整的大规模数据的快速捕获流程多种类型数据的存储多种类型数据的存储数据的实时共享与交换数据的实时共享与交换海量海量&剧增数据的支撑能力剧增数据的支撑能力传统数据仓库技术和新技术的结合传统数据仓库技术和新技术的结合Hadoop技术的合理运用与性能技术的合理运用与性能Agenda企企业新一代数据平台的技术需求业新一代数据平台的技术需求创新的技术平台建设思路创新的技术平台建设思路CONSUMER GRADE先行者先行者: : 服务于海量客户的互联网巨头企业服务于海量客户的互联网巨头企业MAINFRAMESo
9、ftware-Defined DatacenterNew Data-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER & WEBSoftware-Defined DatacenterNew Data-fabrics私有的数据中心与基础架构CONSUMER GRADE先行者先行者: : 服务于海量客户的互联网巨头企业服务于海量客户的互联网巨头企业MAINFRAMESoftware-Defined DatacenterNew Data-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER &
10、 WEBSoftware-Defined DatacenterNew Data-fabrics私有的数据中心与基础架构存储并且在非常大量存储并且在非常大量的数据上进行分析的数据上进行分析CONSUMER GRADE先行者先行者: : 服务于海量客户的互联网巨头企业服务于海量客户的互联网巨头企业MAINFRAMESoftware-Defined DatacenterNew Data-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER & WEBSoftware-Defined DatacenterNew Data-fabrics私有的数据中心
11、与基础架构快速快速应用开发应用开发存储并且在非常大量存储并且在非常大量的数据上进行分析的数据上进行分析CONSUMER GRADE先行者先行者: : 服务于海量客户的互联网巨头企业服务于海量客户的互联网巨头企业MAINFRAMESoftware-Defined DatacenterNew Data-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER & WEBSoftware-Defined DatacenterNew Data-fabrics私有的数据中心与基础架构快速快速应用开发应用开发存储并且在非常大量存储并且在非常大量的数据上进行分
12、析的数据上进行分析大规模大规模自动化运维自动化运维企业级的需求企业级的需求 快速快速应用开发应用开发MAINFRAMECLIENT-SERVER & WEBCONSUMER GRADE存储并且在非常大量存储并且在非常大量的数据上进行分析的数据上进行分析新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备大量设备, 海量日志海量日志, 多种应用多种应用无处不在的数据采集无处不在的数据采集Software-Defined DatacenterNew Data-fabrics来自金融企业的独有需求来自金融企业的独有需求 快速快速应用开发应用开发MAINFRAMECLIENT-SE
13、RVER & WEBCONSUMER GRADE存储并且在非常大量存储并且在非常大量的数据上进行分析的数据上进行分析新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备大量设备, 海量日志海量日志, 多种应用多种应用无处不在的数据采集无处不在的数据采集Software-Defined DatacenterNew Data-fabrics收集数量庞大的事件收集数量庞大的事件数据的同时对特定交数据的同时对特定交易事件进行实时反应易事件进行实时反应与传统应用和基础架与传统应用和基础架构有机配合构有机配合来自金融企业的独有需求来自金融企业的独有需求 快速快速应用开发应用开发MAIN
14、FRAMECLIENT-SERVER & WEBCONSUMER GRADE存储并且在非常大量存储并且在非常大量的数据上进行分析的数据上进行分析新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备大量设备, 海量日志海量日志, 多种应用多种应用无处不在的数据采集无处不在的数据采集Software-Defined DatacenterNew Data-fabrics收集数量庞大的事件收集数量庞大的事件数据的同时对特定交数据的同时对特定交易事件进行实时反应易事件进行实时反应与传统应用和基础架与传统应用和基础架构有机配合构有机配合配合不同云计算平台配合不同云计算平台实现实现高效运
15、维和水平扩展高效运维和水平扩展.ETCNew ExperiencesNew Biz Modelspioneered by new Consumer Internet giantsInternet-of-thingsPervasive telemetryMAINFRAMECLIENT-SERVER & WEBCONSUMER GRADEOperate at Scale in Operate at Scale in a highly automated a highly automated wayway新一代 PaaS 平台Software-Defined DatacenterNew Data-f
16、abrics快速快速应用开发应用开发收集数量庞大的事件收集数量庞大的事件数据的同时对特定交数据的同时对特定交易事件进行实时反应易事件进行实时反应存储并且在非常大量存储并且在非常大量的数据上进行分析的数据上进行分析与传统应用和基础架与传统应用和基础架构有机配合构有机配合配合不同云计算平台配合不同云计算平台实现实现高效运维和水平扩展高效运维和水平扩展.ETC新一代新一代Paas平台建设思路平台建设思路Software-Defined DatacenterNew Data-fabricsThe Software Defined Data CenterNew ExperiencesNew Biz Mo
17、delspioneered by new Consumer Internet giantsInternet-of-thingsPervasive telemetryMAINFRAMECLIENT-SERVER & WEBCLOUD ERAOperate at Scale in Operate at Scale in a highly automated a highly automated waywayAWSVMW.ETCPivotal: 面向数据的企业级面向数据的企业级Paas平台平台Pivotal PlatformFromVMwareFromEMCBigDataFastDataRapid
18、Application Dev & IntegrationCloud Abstraction& App Automation存储并且在非常大量存储并且在非常大量的数据上进行分析的数据上进行分析在收集数量庞大在收集数量庞大的事件数据的同的事件数据的同时对特定事件进时对特定事件进行实时反应行实时反应快速快速应用开发应用开发配合不同云计算平台配合不同云计算平台实现实现高效运维和水平扩展高效运维和水平扩展与传统应用和与传统应用和基础架构有机基础架构有机配合配合Software-Defined DatacenterNew Data-fabricsThe Software Defined Data Cen
19、terNew ExperiencesNew Biz Modelspioneered by new Consumer Internet giantsInternet-of-thingsPervasive telemetryMAINFRAMECLIENT-SERVER & WEBCLOUD ERAOperate at Scale in Operate at Scale in a highly automated a highly automated waywayAWSVMW.ETCPivotal: 面向数据的企业级面向数据的企业级Paas平台平台Pivotal PlatformBigDataFas
20、tDataRapid Application Dev & IntegrationGemfirevFabricFromVMwareFromEMCCloud Abstraction& App Automation.ETC支持开放标准并与开源有效互动强调以数据为中心 兼顾各种数据类型处理充分关注新一代开发人员和新一代企业级应用的需求为有效进行实时大容量信息处理而设计同时兼顾与传统应用的互操作性与传统技术的有效结合云支撑平台数据支撑架构数据支撑架构应用支撑架构应用支撑架构Scale-out storage: HDFS/ObjectLanguages& FrameworksIngest & Query:
21、 very high-capacity & in-memoryAnalyticsServicesCloud Abstraction (portability)Automation: App Provisioning & Life-cycleService RegistryPivotal One: 重新定义企业级重新定义企业级 PaaSCloud FabricData FabricApplication FabricScale-out storage: HDFS/ObjectLanguages& FrameworksIngest & Query: very high-capacity & in-
22、memoryAnalyticsServicesCloud Abstraction (portability)Automation: App Provisioning & Life-cycleService RegistryPivotal One: 来自来自EMC和和VMW的技术体系整合的技术体系整合GemFirePivotal Data Science Labs创新：以数据支撑为中心创新：以数据支撑为中心Cloud StorageVirtualizationPivotal DataFabricPivotal Cloud& App FabricData-DrivenApplicationDeve
23、lopmentPivotal Data Science Labs.ETC完整的新一代企业的数据平台蓝图完整的新一代企业的数据平台蓝图AnalyticData MartsMPP DatabaseOperationalIntelligenceIn-Memory DBRun-TimeApplicationsIn-Memory ObjectEnterprise Data WarehouseRDBMSData StagingPlatformData IngestionSystemStreams分析形数据集市分析形数据集市实时的数据处理实时的数据处理Run-TimeApplications企业级数据仓库企
24、业级数据仓库大规模数据存储大规模数据存储实时的数据实时的数据捕获和共享捕获和共享Pivotal 数据支撑架构的解决之道数据支撑架构的解决之道Greenplum 数据库：极数据库：极速分析平台速分析平台并行处理架构并行处理架构MPP shared-nothing 架构，基于通用X86平台PB级以上海量存储，最大支持10000节点以上所有节点并发IO，实现超大IO吞吐，并行运行SQL自动化并行自动化并行自动化并行计算,实现超大计算能力使用同传统DB一样，加载和运行SQL数据多节点分布及高可用性都由DB自身实现极佳的横向扩展性极佳的横向扩展性在线横向扩展容量、加载和SQL查询性能随节点线性增加专为专
25、为BI及数据分析优化及数据分析优化深度整合统计数学模块（SAS,SOLR,MADLIB,R）高性能并行SQL执行器MPP shared-nothing 架构构建在X86开放平台上的并行处理架构Greenplum 数据数据库：库：行业最快的数据加载技术行业最快的数据加载技术SINGLE RACK COMPARISON每个Rack（16节点）,每小时16TB加载性能Scatter-Gather Streaming提供性能线性扩张支持大批量数据加载和持续化的数据加载Enable complex data transformations “in-flight”对GBK/UTF8/ISO8859字符集的
26、原生支持Greenplum load rates scale linearly with the number of racks, others do not.For example, two racks = 32TB/HGreenplumOracleExadataNetezzaTeradataLoadGreenplum 数据库数据库：高可用性：高可用性ClientRedundantInterconnectMPSegmentServersPrimaryMaster1Sync&FailoverProcessesStandbyMasterPrimaryDataRAID5ProtectionA1B1
27、C1A2B2C2A1B1C1A2B2C2MirrorData2345提供了全量备份和增量备份功能，保证系统级故障后的数据恢复对于任一设备的故障，系统数据不丢失、提供持续服务多个节点宕机后，系统性能只降低1/6Greenplum 数据库：数据库： Gartner 的评价的评价 Gartner 公司每年发布关于数据仓库管理系统业界地位的魔法象限研究报告报告主要从个数据仓库厂商的执行力和远景两个方面评估评估对象包括传统的企业级数据仓库和新一代的MPP并行数据库厂商支持各种规模、有大量并发用户、能管理混合工作负载的数据仓库具备较高的客户满意度和强有力的服务支持在数据仓库市场有长久的生命力风险最低、产品
28、成熟度最高Gartner对领导者象限的者象限的评价价采用前瞻性思维设计的数据仓库较小的市场领导者，缺乏全球性发展缺少较大的本地客户，因此不易证明其产品的功能和价值在产品技术领域，某些特性具备前瞻性，但综合能力需要完善Gartner对远见者象限的者象限的评价价Load BalancerWeb and App ServersWebMiddwareDatabase LayWhat is GemFireMemory Compute Data Grid in Memory Pivotal Hadoop HAWQ: 性能测试结果对比性能测试结果对比4.21988.71612.04152.71,2852.8
29、1,81547X19X208X476X648X4.2378.75962.0502.7552.8599X69X25X20X21XPivotal HDPivotal HDPivotal Cloud and Application FabricCloud StorageVirtualizationPivotal DataFabricPivotal Cloud& App FabricData-DrivenApplicationDevelopmentPivotal Data Science Labs.ETCPIVOTAL TECHNOLOGY MISSION A complete software-ce
30、ntric application+data platform . . . Driven by a strong open-source foundationHadoop-centric data infrastructure & services (spanning storage, real-time operational, & analytic)Integrated PaaS supporting applications developed in multiple languages & frameworksOpen model that enables the integratio
31、n of self-service utilities to be plugged in and deployed within existing legacy environmentsAnalytics & visualization instrumented by defaultCloud enabled, whether deployed in the datacenter or the public cloudSummary新的技术创造新的业务价值新的技术创造新的业务价值2大数据驱动业务转型大数据驱动业务转型1EMC/Pivotal 助力金融企业打助力金融企业打造完整的新一代数据管理平台造完整的新一代数据管理平台3
