大数据平台解决方案课件

大数据平台解决方案大数据云平台1.1.建设背景建设背景2.2.大数据平台需求理解大数据平台需求理解3.3.大数据平台定位分析大数据平台定位分析目 录Contents4.4.大数据平台总体架构设计大数据平台总体架构设计5.5.分项专题关设计思想及注点分项专题关设计思想及注点Part 1建设背景4.当前业务面临的挑战当前业务面临的挑战数据问题数据问题慢慢缺缺重重散散繁繁差差企业内数据定义缺失；数据项缺失；数据属性不完整；企业外部数据无暇顾及；数据在多个系统中重复采集、重复存储；系统数据无法关联、共享，数据整合困难；系统林立，数出多门；数据时效性差，使用者无法及时获得所需信息；数据使用不方便，方法繁琐；手工报表多；数据质量差，数据不完整，数据不一致；业务支持TextText网络运营决策与报告风险管理产品运营营销支持精细化管理对运营商价值对运营商价值链的影响链的影响 数据问题长期存在将导致：对自身状况摸不透 对经营环境看不清 对市场先机抓不住 对未来竞争赢不了制约阻碍没有准确数据支撑难以进行深度分析决策缺乏可靠依据5.IT如何推动公司运营变革如何推动公司运营变革2 2、服务管控模式逐步完善、服务管控模式逐步完善夯实基础管理管控思路由简单支撑向精细服务转型全面优化信息化服务流程实现分级服务 保险行业经过多年的发展，整个行业的变革越来越快，市场竞争环境也日益激烈。保险公司想要在残酷的竞争中占得先机，就必须考虑产业的融合，并在价值链中占得有利的位置。1 1、由被动的、由被动的IT IT支撑向主动的以数据为核心的支撑向主动的以数据为核心的IT IT服务转型服务转型以大数据为核心组织IT服务能力持续完善基础支撑能力拥抱互联网架构体系全面云化6.大数据思考大数据思考根据Gartner的定义，大数据的特征具体涵盖了3V的内容：1.数据量庞大（Volume）：从PB扩展到ZB；IT系统、互联网、物联网等每天都在产生大量新生数据，过去的两年间产生的数据占到了所有数据的90%2.数据变化快(Velocity)：数据变化与处理的频度由天加速到秒/毫秒；订单、支付、欺诈、微博、监控视频、传感器、信令每时每刻都在不停的产生数据3.数据多样（Variety)：数据种类繁多：数据库表，格式文本，自然语言文本，电子表格，声音，图片，视频数据规模大数据规模大数据范围广数据范围广数据加工深入数据加工深入数据服务对象全面数据服务对象全面数据类型多数据类型多数据管理复杂数据管理复杂1.生产系统数据2.网元等设备数据3.平台自生数据4.外部互联网数据5.10PB级+指数级快速增长1.结构化、非结构化2.静态、动态3.1.在线、近线、离线2.高性能、低成本、高质量、可追溯3.1.企业内部（管理层、执行层、一线营销群体等）2.企业外部（客户，合作伙伴，供应链、政府部门等）3.内部生产系统4.1.信息转换2.知识沉淀3.价值创造4.数据成为公司核心资产和核心竞争力，将被设计用于在成本可承受（economically）的条件下，通过快速（velocity）采集、发现和分析，从大量化（volumes）、多类别（variety）数据中提取价值（value）7.大数据应用价值可以从公司侧和客户侧体现大数据应用价值可以从公司侧和客户侧体现客户：客户：精准服务精准服务及时响应及时响应智能应用智能应用透明管控围绕大数据应用，促使公司实现科学运营、价值创造以及透明管控，一方面能使得公司侧感知到大数据带来的管理、决策、运营效率和质量的提升；另一方面，能够使客户感知到大数据带来业务开发的智能、服务及时以及与需求匹配的精准。科学运营价值创造企业：企业：开发便捷开发便捷分析及时分析及时决策支持决策支持数据准确数据准确大数据平台大数据平台客户Part 2大数据平台需求理解9.大数据平台的关键需求大数据平台的关键需求角色流程数据应用数据分类销销营营场场市市产产品品开开发发客客户户管管理理客客户户洞洞察察决策类活动决策类活动管理类活动管理类活动执行类活动执行类活动分析类活动分析类活动1.结构化了企业架构中四大架构的关键要素，以及要素间的承接关系，形成了一套规范、清晰的定义，从而为大数据平台的方案设计建立了更明确的指导依据和验证方法。柔性架构的大数据平台柔性架构的大数据平台1.企业架构方法论和云计算技术让建立柔性架构成为可能，基于企业架构元模型，建立柔性的架构需要实现业务、应用、数据、技术四个架构层面的解耦。a.a.业务业务应用应用/数据数据：业务活动在业务架构和应用架构(大数据平台)间具有承上启下的作用，可从业务类型和业务活动类型两个维度划分，前者体现业务差异，后者更多体现数据平台能力要求，且可以稳定地分为决策类、管理类、执行类和分析类四种，因此业务与IT的解耦可从四类业务活动支撑实现。b.b.应用应用数据数据：应用和数据共同承接了业务，数据实体也承接了应用交互，因此二者解耦的核心是数据实体。这可以通过建立稳定的、弹性的企业企业级大数据模型、数据整合与存储区域，保证未来应用对数据操作的可扩展，以及屏蔽了应用对底层数据直接访问的数据服务加以实现。c.c.应用应用/数据数据技术技术：系统组件承接了应用和数据，因此要实现该层面的解耦，需要解决系统组件对应用的依赖，可通过建立应用开发平台、数据交换平台和数据管控平台来实现。同时基于云计算的弹性扩展和虚拟化技术实现系统组件与基础设施的解耦。10.大数据平台能力需求分析大数据平台能力需求分析决策类业务活动决策类业务活动识别问题或对决策的要求分析和阐明方案做出选择追踪和反馈决策结果传达和执行决策1.决策就是为达到某一目标而在若干个可行方案经过分析、比较、判断，从中选择并赋予实施的过程据诺宾斯泰（Robenstein）将决策过程定义为五个步骤2.大数据平台的核心是数据，从数据生命周期看，大数据的生成、获取、整合、服务、应用、归档各个步骤分别有着不同的目标，并面临不同的问题3.从决策类活动过程和数据生命周期两个维度，对大数据平台的决策类活动的支撑能力需求进行分析通过优化技术选择满足约束条件的最优方案4V4V产生应用获取整合服务归档应用通过仿真技术进行各种方案的预演与细化整合案例类、规则类知识支撑规则制度信息查询实时/准实时数据捕获客户行为捕获企业/用户互联网数据捕获应用服务获取整合大数据的存储和管理海量数据的快速分析海量数据的快速获取归档整合服务应用归档获取整合服务应用归档获取服务归档实时/准实时数据捕获互联网数据捕获冷数据的近线访问快速的数据服务执行简便的数据服务使用非结构化数据的挖掘和分析快速的数据转储和归档高可用的数据支撑建立柔性的架构支撑个性化应用开发支撑最终用户自定制的数据服务与生产系统在功能和数据分工上清晰合理与生产系统的及时交互决策执行业务活动中的数据支撑11.大数据平台能力需求分析大数据平台能力需求分析分析类业务活动分析类业务活动业务理解数据理解数据准备模型部署数据建模1.分析类活动是通过对数据的深入分析，力求取得更深刻业务洞察的过程，参考DM-CRISP数据挖掘方法论，包括业务理解、数据理解、数据准备、数据建模、模型评估和模型部署六个步骤4V4V产生应用获取整合服务归档应用整合应用服务获取整合归档整合服务应用归档获取整合服务应用归档获取服务归档模型评估应用整合获取服务归档历史数据探查和分析海量数据的快速获取方便准确的数据抽样能力探索数据可方便归档和恢复非结构化数据、实时数据的获取海量数据的获取非结构化数据与结构化数据的整合流数据概要数据与结构化数据的整合海量数据的处理能力非结构化数据分析能力海量数据分析能力支撑不同分析的数据宽表宽表数据归档丰富的数据挖掘算法建模过程中的模拟仿真仿真结果的优化计算调用API进行模型训练能力丰富的数据计算和可视化分析模型能够导出为可直接使用的评分条件，如SQL评估数据能够嵌入到模型评估中，通过外部调用发现已经退化的模型模型分析结果的快速回写模型评估数据集的提取模型分析结果嵌入到生产系统中模型分析源数据的预处理与获取12.大数据平台关键能力需求大数据平台关键能力需求应用开发与运行应用开发与运行1.当前总部BI系统的数据应用需求包括业务部门的计划性业务支撑需求和大量的临时性支撑需求，以及IT部门自身规划中的计划性支撑需求；2.省公司经分系统也需要支撑来自业务部门和IT部门的大量支撑需求，同时要完成集团下发的IT规范要求3.未来省公司数据集中后，大数据平台将必须承担省分公司和总部的全部数据应用服务需求省分公司当前数据应用需求集团总部当前数据应用需求省公司经分系统总部BI系统业务部门IT 部门集团领导IT部门业务部门集团下发规范支撑需求临时支撑需求计划业务支撑需求计划IT支撑需求临时支撑需求省公司领导计划业务支撑需求计划IT支撑需求数据应用需求急速增长数据应用需求急速增长总公司总公司IT IT增长缓慢增长缓慢省公司省公司IT IT投入有限投入有限1.平台开发方面：如何支撑急速增长的数据应用需求2.平台执行方面：如何保障海量大并发的数据访问需求和海量数据处理的性能要求大数据平台将面临大数据平台将面临两大挑战两大挑战IT人力紧张IT系统扩容难IT投入效益难保障13.大数据平台关键能力需求大数据平台关键能力需求更直接的决策支持更直接的决策支持未来大数据平台当前BI系统1.结构化决策：库存控制2.半结构化决策：套餐设计3.非结构化决策：产品外观设计鸿沟知识库(事实知识、规则知识、案例知识)OLAP应用数据挖掘应用固定报表应用灵活查询应用数字仪表板知识库(事实性知识)DWDDWAODS最优解绩效度量数据挖掘模型输入参数1.模型的建立基于预先假设2.模型所需数据事先确定已知3.模型是静态的模型的数学形式很完善，但往往不能符合实际业务情况数据挖掘模型仿真模型随机输入量终端补充量Q输入参数绩效变量约束条件决策计划目标函数DWDDWAODSDMDMDM非结构化数据数据挖掘模型仿真模型优化模型Part 3大数据平台定位分析15.前期初步确立的大数据平台目标技术架构前期初步确立的大数据平台目标技术架构目标架构：目标架构：拥抱互联网、运用云计算技术，建立开放的基于SOA架构的中国企业集中化云数据服务支撑平台，面向全国各级经营主体和总部集中平台提供大数据、分布式、实时智能数据服务支撑与客户响应，并注重公共数据、公共能力的一点沉淀与全网共享，实现基于特定对象、特定需求的个性化自主定制、灵活组件组装，高效实现一级系统多维应用多级支撑总部目标集中生产系统应用统一访问门户透明管控科学运营价值创造生产类应用SaaS（软件）中间件即服务 业务即服务ESBBPM组件集1组件集2组件集3报表工具联机分析工具挖掘工具PaaS（平台）数据即服务DW分析类数据生产类数据ODS/MDM统一 IaaS服务接口小型机X86服务器高端存储中低端存储网络资源IaaS（资源）SDK开发平台生命周期管控数据质量管控数据安全管控元数据管控指标体系统一视图CUBE开发工具近线区归档ETL元数据围绕三个维度：围绕三个维度：透明管控、科学运营、价值创造强调开放灵活：强调开放灵活：基于开放业务组件、应用开发平台、公共应用模型等构建，灵活支撑个性化应用开发、部署和推广实施五项管控：实施五项管控：数据模型与标准、数据质量、数据安全、元数据、数据生命周期推行五个一点：推行五个一点：一点源头采集、一点加工转换、一点存储、一点分析挖掘、一点服务提供数据模型标准管控16.基于技术架构目标，加入大数据平台建设的驱动力基于技术架构目标，加入大数据平台建设的驱动力分析类系统应该建立多少数据库，多少种数据库保证数据从省分及时向集团提供准确唯一数据现存问题在一个框架下有效支持5级体系的个性化开发和共性开发提供多种形式数据服务提供方式，并有效执行数据应用数据服务数据交换采集数据整合数据存储数据管控新兴技术流数据处理架构和体系桌面云管理技术IaaS、PaaS，SaaS，DaaS等云管理技术内容数据处理架构和体系提供多厂商、多系统的统一开发平台17.大数据平台应具备的技术支撑能力大数据平台应具备的技术支撑能力10962数