《云计算及其关键技术ppt课件》由会员分享，可在线阅读，更多相关《云计算及其关键技术ppt课件（48页珍藏版）》请在金锄头文库上搜索。
1、2020 4 24 1 Outline 云计算概述 云计算体系结构 云计算应用 云计算关键技术 云计算的发展与研究热点 云计算概述 云计算发展趋势 云计算概述 云计算概念 云计算 CloudComputing 是分布式处理 并行处理和网格计算的发展 或者说是这些计算机科学概念的商业实现 伯克利白皮书 云计算是一种商业模式 它将计算任务分布到大量的计算机 服务器构成的资源池上 使用用户能够按需获取计算能力 存储空间和信息服务 云计算概述 云计算综述 数据在云端 不怕丢失 不必备份 可以任意点的恢复 软件在云端 不必下载自动升级 无所不在的计算 在任何时间 任意地点 任何设备登录后就可以进行计算服
2、务 无限强大的计算 具有无限空间的 无限速度 云计算概述 云计算特点 超大规模Google云计算拥有100多万台服务器 Amazon IBM等也有几十万台 虚拟化物理属性 地理位置 存储磁盘等 对用户透明 高可靠性数据具有多副本容错 计算节点同构来保障服务的高可靠性 通用性在云计算支撑下 可以构造千变万化的应用服务 高可伸缩性规模可以动态伸缩 满足应用和用户规模增长的需要 按需服务将计算作为一种资源 用户按需购买极其廉价体现在多个方面 计算节点廉价 管理成本低 能源利用率高等 云计算概述 云计算服务类型 IaaS InfrastructureasaService 将硬件设备等基础资源封装成服务
3、提供给用户使用 如Amazon云计算的AmazonWebService的弹性计算云和简单存储服务 PaaS PlatformasaService 对资源的抽象层次更近一步 提供用户应用程序的运行环境 如GoogleAppEngine SaaS SoftwareasaService 它的针对性更强 将某些特定应用软件功能封装成服务提供给客户 如一些在线的客户关系管理服务 CRM 云计算概述 云计算优势 67 2 73 3 77 0 77 5 77 9 81 5 83 6 0 10 20 30 40 50 60 70 80 90 系统和信息共享更容易 支持 推行IT标准 提供最新的技术和功能 IT
4、人员减少 费用降低 每月花费低 无多余的开支 开发容易快速 问题响应率3 4or5 Q 云计算能带来的好处的调查与评估 数据来源 IDCEnterprisePanel August2008n 244 Outline 云计算概述 云计算应用 云计算关键技术 云计算体系结构 云计算的发展与研究热点 云计算体系结构 物理资源层 计算机 存储器 网络设施 数据库和软件 根据不同的需求增加其他硬件 资源池层 将大量相同类型的资源构成同构或接近同构的资源池 如计算资源池 数据资源池等 构建资源池更多是物理资源的集成和管理工作 例如研究在一个标准集装箱的空间如何装下2000个服务器 解决散热和故障节点替换的
5、问题并降低能耗 管理中间件 负责对云计算的资源进行管理 并对众多应用任务进行调度 使资源能够高效 安全地为应用提供服务SOA构建层它的针对性更强 将某些特定应用软件功能封装成服务提供给客户 如一些在线的客户关系管理服务 CRM 云计算体系结构 云计算的管理中间件负责资源管理 任务管理 用户管理和安全管理等工作 资源管理负责均衡地使用云资源节点 检测节点的故障并试图恢复或屏蔽之 并对资源的使用情况进行监视统计 任务管理负责执行用户或应用提交的任务 包括完成用户任务映象 Image 的部署和管理 任务调度 任务执行 任务生命期管理等等 用户管理是实现云计算商业模式的一个必不可少的环节 包括提供用户
6、交互接口 管理和识别用户身份 创建用户程序的执行环境 对用户的使用进行计费等 安全管理保障云计算设施的整体安全 包括身份认证 访问授权 综合防护和安全审计等 云计算体系结构 Outline 云计算概述 云计算关键技术 云计算体系结构 云计算应用 云计算的发展与研究热点 云计算应用 云计算应用 IaaS InfrastructureasaService 将硬件设备等基础资源封装成服务提供给用户使用 如Amazon云计算的AmazonWebService的弹性计算云和简单存储服务 PaaS PlatformasaService 对资源的抽象层次更近一步 提供用户应用程序的运行环境 如GoogleA
7、ppEngine SaaS SoftwareasaService 它的针对性更强 将某些特定应用软件功能封装成服务提供给客户 如一些在线的客户关系管理服务 CRM 云计算应用 IaaS InfrastructureasaService 实现模式完全操作系统 软硬件 接入防火墙路由器负载平衡 优势节省费用 所付及所用即时升级安全可靠APIs 云计算应用 IaaS InfrastructureasaService 实例当你想运行成批的程序组 但是没有合适的软硬件环境 可使用Amazon的EC2 当你想在网络上发布一个短期 几天到几个月 的网站 可使用Flexiscale 云计算应用 IaaS In
8、frastructureasaService AmazonInfrastructurewebservicesEC2 ElasticComputeCloud nowwithWindows 99 95 availability S3 SimpleStorageService SimpleDBSQS SimpleQueueService RackspaceMossoJungleDiskSliceHost 云计算应用 PaaS PlatformasaService 解决的问题平台价格昂贵需求估算不科学 平台管理复杂麻烦 流行的服务存储数据库扩展性 优势节省费用 所付及所用即时升级安全可靠APIs 云计
9、算应用 PaaS PlatformasaService 实例当你想把一个大容量的文件上传到网络上 允许35000个用户使用2个月的时间 可使用Amazon的CloudFront 当你想在网络上存储大量的文档 但是你没有足够的存储空间 可使用Amazon的S3 云计算应用 PaaS PlatformasaService GoogleAppsPythononlyBigTableHerokuRubyonRailshostedonEC2FApexBungeeConnectBungeeLogic aC familylanguagesimilartoC Microsoft Azure NEThostedi
10、nMSdatacentres 云计算应用 云计算应用 SaaS SoftwareasaService 实现模式在中小企业盛行无需管理软硬件服务通过浏览器实现 优势无浪费费用即时扩展安全可靠APIs 云计算应用 云计算应用 SaaS SoftwareasaService 实例CRM财务计划HR文字处理Email Outline 云计算概述 云计算应用 云计算体系结构 云计算关键技术 云计算的发展与研究热点 云计算关键技术 分布式文件系统 分布式文件系统 Distributed 是指文件系统管理的物理存储资源不一定直接连接在本地节点上 而是通过计算机网络与节点相连 分布式文件系统除了具有本地文件系
11、统的所有功能外 还必须管理分布式系统中所有计算机上的文件资源 从而把整个分布式文件资源以统一的视图呈现给用户 它需要隐藏内部的实现细节 对用户和应用程序屏蔽各个节点计算机底层文件系统的差异 提供用户方便的管理资源的手段或统一的访问接口 它需要具备存储 更新 备份和恢复功能 并能够满足多用户 多应用的数据共享的需求 为分布式操作系统中其他的构件提供基础 云计算关键技术 分布式文件系统考虑的关键问题 网络透明性 分布式文件系统通常同时运行在多台计算机上 有时甚至构建在广域网络中 但呈现给用户和应用程序的感觉是和使用单台机器相同的 用户和应用程序可以用访问本地文件相同的方式访问远程文件 换言之 应用
12、程序无法发现本地文件和远程文件的区别 最完美的情况就是分布式文件系统的用户无需知道文件的物理位置 高可用性 数据的高可用性是系统可靠性的基础 用户的文件访问过程不能因为局部网络故障或系统调度 例如在服务器之间备份数据 而出现中断 通常通过文件副本来实现系统的高可用性 最理想的情况是 只要系统中存在一个有效的副本 用户就可以访问该文件 可扩展能力 理论上来说 分布式系统的节点规模随时都有可能发生变化 分布式文件系统应能自动适应节点变化而导致的资源的变化 强大的资源管理能力 它应能根据系统中节点数以及负载情况而动态决定文件资源的分布情况 并在必须的时候进行调整 云计算关键技术 分布式文件系统架构
13、云计算关键技术 分布式文件系统架构 云计算关键技术 分布式数据处理 MapReduce MapReduce是Google提出的一个软件架构 用于大规模数据集 大于1TB 的并行运算 概念 Map 映射 和 Reduce 化简 和他们的主要思想 都是从函数式编程语言借来的 还有从矢量编程语言借来的特性 当前的软件实现是指定一个Map 映射 函数 用来把一组键值对映射成一组新的键值对 指定并发的Reduce 化简 函数 用来保证所有映射的键值对中的每一个共享相同的键组 云计算关键技术 MapReduce编程模型 每一个Map函数就是对一部分原始数据进行指定的操作 每个Map操作都针对不同的原始数据
14、 因此Map与Map之间时相互独立的 可以并行化 一个Reduce操作就是对每个Map所产生的一部分中间结果进行合并操作 每个Reduce所处理的Map中间结果互不交叉 所有Reduce产生的最终结果经过简单的连接就形成了完整的结果集 所以Reduce也可以并行化 主要函数 Map in key in value keyi valuej j 1 k Reduce key value1 valuem key final value 云计算关键技术 Dean J Ghemawat S MapReduce Simplifieddataprocessingonlargeclusters2008 Map
15、Reduce实现机制 云计算关键技术 MapReduce实现机制 1 TheMapReducelibraryintheuserprogram rstsplitstheinput lesintoMpiecesoftypically16megabytesto64megabytes MB perpiece controllablebytheuserviaanoptionalparameter Itthenstartsupmanycopiesoftheprogramonaclusterofmachines 2 Oneofthecopiesoftheprogramisspecial themaster
16、Therestareworkersthatareassignedworkbythemaster ThereareMmaptasksandRreducetaskstoassign Themasterpicksidleworkersandassignseachoneamaptaskorareducetask 3 Aworkerwhoisassignedamaptaskreadsthecontentsofthecorrespondinginputsplit Itparseskey valuepairsoutoftheinputdataandpasseseachpairtotheuser de nedMapfunction Theintermediatekey valuepairsproducedbytheMapfunctionarebufferedinmemory 4 Periodically thebufferedpairsarewrittentolocaldisk partitionedintoRregionsbythepartitioningfunction Thelocationso
