《XX移动云计算和大数据实践课件》由会员分享，可在线阅读，更多相关《XX移动云计算和大数据实践课件（60页珍藏版）》请在金锄头文库上搜索。
1、行至水穷处、云起浙里时-XX移动云计算和大数据实践汤人杰2019年6月18日第二部分第二部分背景和背景和问题问题第四部分第四部分XX支撑云建支撑云建设蓝图设蓝图第三部分第三部分技技术发术发展跟踪和思考展跟踪和思考第五部分第五部分建建议议与思考与思考第一部分第一部分云云计计算与算与团队团队建建设设成果成果目目录录XX公司云平台建公司云平台建设现设现状状目前XX公司建设了三个资源池，各自独立独立发发展展，有独立的管理平台，有独立的管理平台。支撑资源池：承载业务支撑系统与管理支撑系统，上层管理平台由华胜天成负责开 发网管资源池：承载网管支撑系统与业务平台，上层管理平台由东信北邮负责开发IDC资源池：
2、承载IDC业务（公有云），上层管理平台由华为负责开发资资源池管理平台（源池管理平台（华胜华胜天天成）成）IDC资资源池源池资资源池管理平台（源池管理平台（东东信信北北邮邮）资资源池管理平台（源池管理平台（华为华为）支撑支撑资资源池源池（业务业务支撑支撑+管理支撑系管理支撑系统统）物理资源网管网管资资资资源池源池（网管支撑（网管支撑+业务业务平台）平台）物理资源物理资源以大数据资源池管理平台为核心整合，形成企业统一资源池管理平台网管支撑系统后续将逐步迁移到支撑资源池支撑系支撑系统统云化成果概云化成果概览览资资源池源池截止2019年5月，支撑系统共有服务器3台，其中服务器 台。支撑资源池共计604
3、台X86服务器，共部署843个虚拟机，采用Vmware虚拟化技术搭建云化系云化系统统截止2019年5月，共完成72个系统迁移至支撑资源池2011年已完成CRM Web和APP的云化改造计划8月底前完成计费账务计费账务系系统统云化云化改改造造目前系统云化比例为43.56%，计划至年底前系统云化比例提升至60%设备设备5个机房，合计面积约1.15万平方米，机房利用率为77.5%各类主机3290台，处理能力达到18.11亿Tpmc，其中系统X86化比例62.5%各类存储设备容量达到6191TB，利用率88%；非高端（分布式）存储比例达20%2019年去年去IOE和系和系统统云化工作重点云化工作重点深
4、度参与集深度参与集团团公公 司去司去IOE试试点点项项目目去去“I”支撑、经分和管信三 域系统全面去全面去“I”在原有商业虚拟化软 件基础上将引入开开源源 虚虚拟拟化化软软件件去去“O”已使用大云RDB3完成统一用户系统去“O”工作今年将在CRM核心系核心系统统 部分模部分模块实现块实现去去“O”去去“E”今年将在计费账务 系统和虚拟化资源 池中试点引入软软件件 定定义义存存储储，初初步步实实 现现去去“E”争取集争取集团团内去内去IOE工作工作的的绝对绝对领领先地位先地位第二部分第二部分背景和背景和问题问题第四部分第四部分XX支撑云建支撑云建设蓝图设蓝图第三部分第三部分技技术发术发展跟踪和思
5、考展跟踪和思考第五部分第五部分建建议议与思考与思考第一部分第一部分云云计计算与算与团队团队建建设设成果成果目目录录困惑与困惑与问题问题（一）（一）资资源池源池CPU利用率利用率为为什什么提么提不不高？高？小型机能云化小型机能云化吗吗？去去I以后以后小小型机型机如如何投何投资资保保护护？应应用永用永远远云化中，开云化中，开发发商商始始终终在在叫云叫云化化改造改造工工作量作量大大，报报价价高。高。应应用云用云化化？这这概念是个什么概念是个什么东东东东？大数据技大数据技术术平台和云平台和云计计算算到底到底什什么关么关系系？大？大数数据据资资源源池和池和我我们现们现在在的的资资源源池池什么关系？什么关
6、系？技技术术架构架构竖竖井化，甚至井化，甚至以以项项目目为为单单位位搞搞技技术术架架构。构。基基础软础软硬硬件件标标准准化管化管理理失失 控，七国八制，运控，七国八制，运维亚维亚历历山大山大，这这种种情情况况谈谈何何核心核心能能力掌力掌控控？困惑困惑与与问题问题（二）（二）XX移移动动的云平台在技的云平台在技术术架构架构上上与阿与阿里里云有云有什什么异么异同同？XX移移动动的云平台在的云平台在业业界界处处于于什什么技么技术术水平？水平？XX移移动动的云平台是否的云平台是否可可以使以使用用或融或融合合阿里阿里云云或或华华为为云的云的技技术术架架构构？ORACLE云如何建云如何建设设和提供？和提供
7、？什么是什么是PAAS？公有云私有云？政企独公有云私有云？政企独立立云？云？什什么概么概念念？如？如何何实现实现？云云计计算和大数据的关系算和大数据的关系？不使不使用用虚虚拟拟机机算不算不算算云？云？HADOOP上上虚虚机？机？云云计计算技算技术术-核心特征和价核心特征和价值值云云计计算起源于算起源于亚马逊亚马逊EC2产产 品和谷歌品和谷歌-IBM分布式分布式计计算算 项项目目云云计计算主要核算主要核心心特征特征资资源共享源共享按需自助按需自助集中部署集中部署弹弹性性伸伸缩缩云云计计算核心价算核心价值值-降本增效、高能可靠降本增效、高能可靠快速部署快速部署-聚焦聚焦业务业务，支撑，支撑业务业务
8、集中、共享、集中、共享、弹弹性、性、标标准准-有效降有效降低低成本成本分布式分布式计计算和存算和存储储提升性能和可靠性提升性能和可靠性云云计计算是个人算是个人PC、互、互联联网之网之 后的第三次后的第三次IT浪潮浪潮云云计计算算驱动驱动企企业业IT架构演架构演进进企企 业业 IT架架 构构 演演 进进“烟囱烟囱”式式IT系系统统架构架构资资源池化、云化源池化、云化IT架构架构打破打破竖竖井、井、应应用和平台用和平台解解耦耦打破供打破供应应商商绑绑定定加加强强企企业业自身核心能力自身核心能力掌掌控控 敏捷建敏捷建设设、聚焦支撑、聚焦支撑业务业务统统一管理建一管理建设设运运营营，提，提升升运运维维
9、效效率、率、提提升升资资源源利用利用率率，降，降低低TCO云云计计算技算技术术-服服务务分分层层云计算包括以下三个层次的服务：IaaS(Infrastructure-as-a-Service)：基础设施即服务。消费者通过Internet可设施获得虚 拟计算、网络和存储资源，比如Amazon AWS。PaaS(Platform-as-a-Service)：平台即服务，指将软件研发的平台作为一种服务，比如Google的AppEngine为企业和个人提供完整的开发、运行和部署的环境和工具。SaaS(Software-as-a-Service)：软件即服务，通过Internet提供软件的模式，用户无需
10、购 买软件，而是向提供商租用基于Web的软件。如Google提供的Gmail、Apps、搜索等。云平台建云平台建设设的常的常见见路径是自底向上路径是自底向上 IaaSPaaSSaaS云云计计算与大数据算与大数据IaaSPaaSSaaS虚拟资源 物理资源公共服务组件数据挖掘分析云云计计算架构算架构EPaaSTPaaSHadoopNoSQLMPPDPaaS（大数据平台服（大数据平台服务务）BDPAAS云云计计算是大数据的基算是大数据的基础础，大数据是云，大数据是云计计算的算的应应用用大数据技大数据技术术平台是云平台是云计计算算PaaS层层的一个分支，是云平台的一个分支，是云平台 的重要的重要组组成
11、部分成部分云云计计算技算技术术-核心技核心技术术云云计计算算是是分分布布式式计计算算、并并行行计计算算、分分布布式式存存储储、数数据据管管理理、虚虚拟拟化化、负负载载均均衡衡等等 技技术发术发展融合的展融合的产产物物云云计计算最核心的技算最核心的技术术是是-并行并行计计算算并并行行计计算算的的基基本本思思想想是是：用用多多个个处处理理器器协协调调求求解解同同一一问问题题。即即将将被被求求解解问问题题分分为为 若若干干部部分分，各各部部分分均均由由一一个个独独立立的的计计算算单单元元来来并并行行处处理理，处处理理完完成成后后，将将结结果果进进 行行处处理后返回用理后返回用户户分布式操作系分布式操
12、作系统统-小小变变大之大之谜谜由于纵向拓展可优化空间太小（单台服务器的性能上限很明显），分布式系统强调横向扩展、横向优化，当分布式集群计算资源不足时，就要往集群里面添加服务器，来不停地提升分布式集 群的计算能力。分布式系统要做到统一管理集群的所有服务器，屏蔽底层管理细节，诸如容错、调度、通信等，让开发人员觉得分布式集群在逻辑上是一台服务器。真真正意正意义义的大的大云云必必须须真真正正实实 现现数据中心数据中心级级的的弹弹性性伸伸缩缩，俗俗称称小小变变大。大。和单机Linux操作系统相比，分布式系统和单机Linux一样要解决五大类操作系统必需的功能，即资源分配、进程管理、任务调度、进程间通信（I
13、PC）和文件系统关关键键要素：要素：资资源管理、源管理、调调度管理度管理阿里云的启示阿里云的启示“大云大云”的技的技术术生生态态圈圈负载负载均衡技均衡技术术：前端应用引流的标准化（调度服务一般可自行实现后台任务的调度）轻轻量量级级虚虚拟拟化技化技术术：资源隔离轻量化，资源生成敏捷化分布式分布式协调协调技技术术：应用无状态、应用名字集中管理、应用部署在线化。资源管理在线化的前提恰恰是实现应用的无状态化弹性伸缩资源管理虚拟化技术重量级虚拟化技术轻量级虚拟化 技术调度管理分布式分布式调调度技度技术术负载均衡技术分布式协调技 术一个好汉：分布式调度三个帮：负载均衡、轻量级虚拟化、分 布式协调分布式分布
14、式调调度和分布式度和分布式协协调调是最是最难难 实现实现的两个技的两个技术术服服务务身身边边的的云云-阿里云阿里云标标准硬件准硬件技技术术服服务务飞飞天：天：核核心心云构件云构件身身边边的的云云-阿里云主要技阿里云主要技术术服服务务解构解构IAAS服服务务-ECS、VPC、OSS大致大致对应对应网网络络、I、E、虚、虚拟拟机等机等基基础设础设施施的的标标准准化、化、服服务务化化、虚虚拟拟化化PAAS服服务务：ACE、MQS、RDS、DRDS、SLB、ODPS、ADS、OTS、OCS大致大致对应对应中中间间件、数据件、数据管管理理软软件件等平等平台台软软件件的的标标准准化化、服、服务务化、化、虚
15、虚拟拟化化身身边边的的云云-阿里阿里云云-飞飞天平台解构天平台解构阿里云是真正意阿里云是真正意义义的大云！的大云！阿里云深阿里云深度度实现实现了云了云计计算核心技算核心技术术并行并行计计算算阿里云可以真正阿里云可以真正实实现现数据中心数据中心级级的的弹弹性伸性伸缩缩核心云构核心云构件件-女女娲娲、伏羲、伏羲是是实实现现“大云大云”的核心技的核心技术术 支柱支柱女女娲娲：应应用用协调协调、应应用命用命名名-分布分布式式协调协调伏羲：伏羲：资资源管理、源管理、应应用用调调度度-分布式分布式调调度度阿里云的启示云的阿里云的启示云的进进化化论论阶阶段段1：X86化。化。核心是硬件硬件标标准化准化，是云
16、的原始积累阶阶段段2：IaaS资资源池化。核心特征是虚机源池化。核心特征是虚机级资级资源管理、源管理、调调度管理度管理和和IAAS服服务标务标准化，俗称准化，俗称 大大变变小。小。阶阶段段3：应应用云化也可以叫做用云化也可以叫做应应用用资资源池化。核心特征是集群源池化。核心特征是集群级资级资源管理、源管理、调调度管理。但度管理。但 这这种管理都是私有化的种管理都是私有化的、静静态态的的一方面是有积极意义的可视为云的进化，从小云进化到低级中云。一方面它的局限性太大，仍然是应用级的竖 井，不能跨应用弹性伸缩，云化能力不能被标准化和共享，这一点在技术角度和管理角度(供应商依赖和甲方核心能 力掌控)有着深远的负面影响！阶阶段段4：PaaS资资源池化。核心特征是源池化。核心特征是标标准化的、集中的和准化的、集中的和动态动态的集群的集群级调级调度管理，同度管理，同时实时实现现了了PaaS服服务务的的标标准化。准化。资资源管理仍然是静源管理仍然是静态态的，分散的，但的，分散的，但调调度管理度管理实现实现集中化、集中化、标标 准化、准化、动态动态化化将标准化的技术服务能力从应用层转移到PaaS平台层，
