《行业分析报告-企业大数据平台践行之路》由会员分享，可在线阅读，更多相关《行业分析报告-企业大数据平台践行之路（27页珍藏版）》请在金锄头文库上搜索。
1、Gdevops,Gdevops,全球敏捷运维峰会浙江移动大数据平台践行之路,Gdevops,第一部分,企业级大数据平台的建设背景,第二部分,企业级大数据平台建设规划,第三部分,建设过程中的问题和解决思路,目录,Gdevops,随着大数据技术的发展信息技术部和网管中心分别在内部逐步开始试点基于分布式架构的大数据平台技术， 目前在局部使用MPP数据库、HADOOP、流处理技术，试运行取得了较好的效果，但是由于缺乏统一的规划 和技术演进策略。存在平台重复建设、数据大量冗余，数据质量较低，以及MPP数据库兼容性问题、Hadoop 版本不统一、人员不足等问题，严重影响了对大数据的应用，因此亟须在公司层面
2、构建统一的大数据平台，并 统一采集数据，向各部门开放，夯实大数据应用的基础。,大数据平台整合之前,Oracle Exdata,Cloudera HadoopPBdata,MPP,IBMStreams,Apache Hadoop,详单 查询,运 管 大 数 据 分 析,客 精户 准 客 指 行 广 流 标 为 告 分 查 分 营 析 询 析 销,标报云化 指标库签表历史库库库,实时信 令处理 系统,信息技术部大数据平台,IBMStreams,集集集集群群群群ClouderaHadoop,MPP,信令监 测系统,拓 明日 终 详 网 志 端 单 络 留 分 查 性 存 析 询 能分析,网管大数据平
3、台,集集集集集群群群群群,集群,集群,S E Q,集群,Gdevops,大数据平台整合之前存在的问题分析,数据采集不全、质量不高,数据标准化、一致性低,应用创新不足,竖井林立、数据冗余,问题,“烟囱”式的系统大量建设，扩展性差，,导致重复投资、数据大量冗余，且大数,据平台架构整体结构没有统一的规划，,缺乏对整体架构演变的长远考虑。,系统数据库结构差异，导致数据迁移中,存在数据丢失、重复、错误等问题，导,致数据可用性差,数据标准化不足，数据一致性低，导致 数据交互复杂，增加运维管控难度,缺乏核心能力导致大数据应用创新难度 增加，创新产品容易被复制，不能灵活 应对市场需求，竞争压力加大,Gdevo
4、ps,第一部分,企业级大数据平台的建设背景,第二部分,企业级大数据平台建设规划,第三部分,建设过程中的问题和解决思路,目录,Gdevops,构建“数据整合、能力共享、应用创新”的企业级大数据平台，对各域数据实现资产化的 统一管理，进行持续的业务创新、运营提升、管理优化，推动开放共享，助力数字化服务曲线 的发展。,数据处理,企业级大数据平台规划思路,Gdevops,离线采集,实时采集,互联网采集,B域数据,O域数据,M域数据,互联网数,据,数据 采集数据 源,存储,传统DB,MPP内存DB,Hadoop, 进行组织和管理转型，组建模型 设计开发团队，进行数据建模实 践，掌握企业级基础模型，实现
5、对核心能力的掌控。对B、O、M三域数据进行了梳 理，分层分类构建统一数据模型， 实现企业数据模型标准化和一致 性。基于Hadoop云化数据处理平台， 实现各域数据的统一汇聚，形成 融合的统一数据模型。,知识层,客户知识,渠道知识,O域数据MBB域数据,B域数据,M域数据,互联网域数据,其他第三方数据,业务层,信息层,个人客户统一视图产品统一视图,其它,数据层,ODS,DWD,DW,ST,实现数据统一汇聚、建模,Gdevops,以资产的视角来管理数据，实现数据资产的可查，可看，可用，最终实现大数据资产管理核心能力的全面掌控。资产规划规划企业数据资产目录、分类体系及数据部署架构，定期进 行盘点和发
6、布,数据 资产 管理,体系建立,构建企业数据常态化运营管理机制，在源数据发生新增、变更时，实现数据的快速引入和更新,平台化管理构建数据资产管理平台，实现数据从引入、处理、发布、稽核及修正的平台化管理，确保大数据资产的应用效率,实现数据资产化管理,Gdevops,数据能力开放,大数据平台客户投诉人流监控渠道营销 业务推荐 互联网广告征信应用数据产品,应用层开放,能力层开放,数据开放: 用户轨迹信息 用户行为属性,1.DWD对上开放2.多种资源管理3.统一标准采集,各层数据能力开放,应用服务开放,应用服务开放: 用户信用监测 人流监控应用,数据分析能力服务,网络洞察,策略洞察,终端洞察,位置洞察,
7、用户洞察,内容洞察,能 力 开 放 平 台,SaaS,AaaS,DaaS,数据层开放,数据脱敏开放服务,分析能力开放: 用户标签分析 地理位置分析,客产渠营帐服事位户品道销务务件置,实现数据统一开放共享,Gdevops,离线采集,实时采集,互联网采集,第三方,数据采集,B域数据,O域数据,M域数据,互联网数据,社交数据,IoT数据,第三方数据,PAAS,存储与计算,分析引擎,统计分析,数据挖掘,交互式分析,机器学习,DAAS,SAAS,精准营销,产品分析,商圈规划,投资分析,营销过程评估,广告平台,基础数据模型,告警监控,云管理平台开发管理,数据管理,运维管理,运维自动化,开发工具,Hadoo
8、p,流处理平台,内存数据库,离线计算,在线计算,Hbase,mysql,Tomcat,数据展现,企业级大数据平台功能逻辑架构,企业级大数据平台作为云平台的一部分，主要可以分为三大技术能力：PaaS、DaaS、SaaS。PaaS：主要包括数据基础服务能力（数据采集、数据存储计算和数据交互等）和平台管理能力（多租户管理、权限管理、安全管理、资源管理、负载管理、 配额管理以及计量管理等）、应用开放能力（开发者管理门户、统一调度平台等）；DaaS：主要包括数据建模、数据质量管理、数据安全管理、数据资产管理、元数据管理等； SaaS：应用涵盖企业内、外部，包括报表、查询、统计、分析、挖掘，对外价值变现等
9、。,Gdevops,指标,报表,客户标签,专题分析,实时营销,日志分析,临时取数,即时统计服务,批量统计服务,实时统计服务,实时规则匹配服务,数据采集服务,数据交换服务,实时查询服务,自助分析服务,企业级大数据平台目标架构,将目前竖井式的经分技术平台重构为一个云化的开放的分布式架构的企业级云化大数据平台。平台将分为数据开放层、数据处理层、数据交换 层，为上层应用提供各类大数据的基础云服务，有力支撑上层各类大数据应用的百花齐放。 企业级云化大数据平台对外提供3大服务：数据交换服务、数据处理服务、数据开放服务。数据交换层：建立统一数据采集交换中心，提供数据采集服务、数据交换服务，实现移动信息生态圈
10、数据共享与交换。 数据处理层：建立数据处理中心，提供离线计算服务和在线计算服务，实现海量数据批处理和实时处理。 数据开放层：实现海量数据实时查询、多维度挖掘分析，实现大数据变现。,Gdevops,数据展现,多维数据查询,实时查询集群）,数据交换集群,Hadoop资源池,流处理资源池,MPP资源池,BIEE,Tomcat,Weblogic,Apache,自助报表,框架,中间件,专题,报表,开放服务,.,爬虫集群,项 目 建 设 范 围,资源管理,运维管理,调度管理,数据管理,安全管理,企业级云化大数据平台建设范围与成果,浙江移动大数据平台主要成果： 在运营商里面首次实现基于容器技术进行资源隔离的
11、数据中心级资源调度； 在运营商里面首次在各种大数据技术组件中全面的字段级的数据隔离； 全面实现SaaS、PaaS、DaaS三个层面的平台开放能力。 “动态人员流量大数据分析平台”等大数据应用已经过世界互联网大会的考验，得到省委领导认可。,Gdevops,全面PaaS云化：企业各应用通过租户模式，按需申请资源，各租户通过容器技术实现资源深度隔离，并结合分布式调度技术，实现动态扩缩容，最大化合理利用资源； 应用和能力解耦、应用与数据解耦、应用与平台解耦：降低建设成本和应用集成复杂度，提高软件质量； 资源统一调度：使用YARN集群资源管理框架，实现对每个租户的容器级动态扩缩容，从而实现集群整体的资源
12、弹性调度； 基于容器的资源隔离技术：采用YARN + 容器方式实现对容器资源的管控，通过多租户机制进行权限控制和资源隔离；统一数据交换服务：通过引进成熟的大数据处理技术，调整系统架构，对数据进行集中采集、清洗、交换、加载，同时建立统一接口管控，实 现接口的可管、可控、可用，为业务提升与创新奠定基础；实现O、B、M三域数据融合，完成企业内部数据整合，实现数据清洗的前移，实现 数据和应用解耦目标，形成面对企业内外提供数据交换的能力。,平 台 优 势 分 析,B域数据M域数据O域数据外部数据,统,一 管 控,大数据技术：Hadoop、容器、消息队列、Flume等 数据资产：本省跨域数据整合，统一采集和存储,云服务模式：提供SaaS、PaaS、DaaS的开放平台,三种开放模 式技术和产品标准化跨域数据融 合,全网数据 的统一管控,市场分析 应用,网络分析 应用,变现 应用,在运营商里面首次实现基于容器技术进行资源 隔离的数据中心级资源调度； 在运营商里面首次在各种大数据技术组件中全 面的字段级的数据隔离； 首次实现浙江移动三域数据的大融合，大大提 升了数据质量，有效支撑多维数据分析； 全面实现SaaS、PaaS、DaaS三个层面的平台 开放能力。,平台亮点,企业级大数据平台成果与亮点,
