《下载孟新云计算第二版ppt培训课件》由会员分享，可在线阅读，更多相关《下载孟新云计算第二版ppt培训课件（47页珍藏版）》请在金锄头文库上搜索。
1、2018/9/14,1,作 者：孟新,联系方式：,,2,Outline,云计算概述,云计算体系结构,云计算应用,云计算关键技术,云计算的发展与研究热点,3,云计算概述,云计算发展趋势,4,云计算概述,云计算概念,云计算(Cloud Computing)是分布式处理、并行处理和网格计算的发展，或者说是这些计算机科学概念的商业实现。伯克利白皮书：云计算是一种商业模式，它将计算任务分布到大量的计算机、服务器构成的资源池上，使用用户能够按需获取计算能力、存储空间和信息服务。,5,云计算概述,云计算综述,数据在云端：不怕丢失,不必备份,可以任意点的恢复 ； 软件在云端：不必下载自动升级 ； 无所不在的计
2、算：在任何时间，任意地点，任何设备登录后就可以进行计算服务； 无限强大的计算：具有无限空间的，无限速度。,6,云计算概述,云计算特点,超大规模 Google云计算拥有100多万台服务器，Amazon、IBM等也有几十万台。 虚拟化 物理属性（地理位置、存储磁盘等）对用户透明。 高可靠性 数据具有多副本容错、计算节点同构来保障服务的高可靠性。 通用性 在云计算支撑下，可以构造千变万化的应用服务。 高可伸缩性 规模可以动态伸缩，满足应用和用户规模增长的需要。 按需服务 将计算作为一种资源，用户按需购买 极其廉价 体现在多个方面，计算节点廉价、管理成本低、能源利用率高等。,7,云计算概述,云计算服务
3、类型,IaaS（ Infrastructure as a Service ）； 将硬件设备等基础资源封装成服务提供给用户使用。如Amazon云计算的Amazon Web Service 的弹性计算云和简单存储服务。 PaaS（ Platform as a Service ） ； 对资源的抽象层次更近一步，提供用户应用程序的运行环境，如Google App Engine。 SaaS（ Software as a Service ） ； 它的针对性更强，将某些特定应用软件功能封装成服务提供给客户，如一些在线的客户关系管理服务（CRM）。,8,云计算概述,云计算优势,67.2%,73.3%,77.0
4、%,77.5%,77.9%,81.5%,83.6%,0%,10%,20%,30%,40%,50%,60%,70%,80%,90%,系统和信息共享更容易,支持、推行IT标准,提供最新的技术和功能,IT人员减少，费用降低,每月花费低,无多余的开支,开发容易快速,% 问题响应率 3, 4 or 5,Q: 云计算能带来的好处的调查与评估,数据来源: IDC Enterprise Panel, August 2008 n=244,9,Outline,云计算概述,云计算应用,云计算关键技术,云计算体系结构,云计算的发展与研究热点,10,云计算体系结构,11,物理资源层； 计算机、存储器、网络设施、数据库和
5、软件。根据不同的需求增加其他硬件。 资源池层； 将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。构建资源池更多是物理资源的集成和管理工作，例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点替换的问题并降低能耗。 管理中间件； 负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务 SOA构建层 它的针对性更强，将某些特定应用软件功能封装成服务提供给客户，如一些在线的客户关系管理服务（CRM）。,云计算体系结构,12,云计算的管理中间件负责资源管理、任务管理、用户管理和安全管理等工作。 资源管理负责均衡地使用
6、云资源节点，检测节点的故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计； 任务管理负责执行用户或应用提交的任务，包括完成用户任务映象(Image)的部署和管理、任务调度、任务执行、任务生命期管理等等； 用户管理是实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等； 安全管理保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等。,云计算体系结构,13,Outline,云计算概述,云计算关键技术,云计算体系结构,云计算应用,云计算的发展与研究热点,14,云计算应用,云计算应用,IaaS（ Infr
7、astructure as a Service ）； 将硬件设备等基础资源封装成服务提供给用户使用。如Amazon云计算的Amazon Web Service 的弹性计算云和简单存储服务。 PaaS（ Platform as a Service ） ； 对资源的抽象层次更近一步，提供用户应用程序的运行环境，如Google App Engine。 SaaS（ Software as a Service ） ； 它的针对性更强，将某些特定应用软件功能封装成服务提供给客户，如一些在线的客户关系管理服务（CRM）。,15,云计算应用,IaaS（ Infrastructure as a Service
8、）；,实现模式 完全操作系统（软硬件）接入 防火墙 路由器 负载平衡,优势 节省费用/所付及所用 即时升级 安全 可靠 APIs,16,云计算应用,IaaS（ Infrastructure as a Service ）；,实例 当你想运行成批的程序组，但是没有合适的软硬件环境，可使用Amazon的EC2。 当你想在网络上发布一个短期（几天到几个月）的网站，可使用Flexiscale。,17,云计算应用,IaaS（ Infrastructure as a Service ）；,Amazon Infrastructure web services EC2 (Elastic Compute Clou
9、d) - now with Windows (99.95% availability!) S3 (Simple Storage Service) SimpleDB SQS (Simple Queue Service) Rackspace Mosso JungleDisk SliceHost,18,云计算应用,PaaS（ Platform as a Service ）,解决的问题 平台价格昂贵 需求估算不科学! 平台管理复杂麻烦!,流行的服务 存储 数据库 扩展性,优势 节省费用/所付及所用 即时升级 安全 可靠 APIs,19,云计算应用,PaaS（ Platform as a Service
10、 ）,实例 当你想把一个大容量的文件上传到网络上，允许35000个用户使用2个月的时间，可使用Amazon的Cloud Front。 当你想在网络上存储大量的文档，但是你没有足够的存储空间，可使用Amazon的S3。,20,云计算应用,PaaS（ Platform as a Service ）,Google Apps Python only BigTable Heroku Ruby on Rails hosted on EC2 F Apex Bungee Connect Bungee Logic (a C-family language similar to C#) Microsoft! Az
11、ure - .NET hosted in MS data centres,21,云计算应用,云计算应用,SaaS（ Software as a Service ） ；,实现模式 在中小企业盛行 无需管理软硬件 服务通过浏览器实现,优势 无浪费费用 即时扩展 安全 可靠 APIs,22,云计算应用,云计算应用,SaaS（ Software as a Service ） ；,实例 CRM 财务计划 HR 文字处理 Email,23,Outline,云计算概述,云计算应用,云计算体系结构,云计算关键技术,云计算的发展与研究热点,24,云计算关键技术,分布式文件系统,分布式文件系统（Distribut
12、ed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统除了具有本地文件系统的所有功能外，还必须管理分布式系统中所有计算机上的文件资源，从而把整个分布式文件资源以统一的视图呈现给用户。 它需要隐藏内部的实现细节，对用户和应用程序屏蔽各个节点计算机底层文件系统的差异，提供用户方便的管理资源的手段或统一的访问接口。它需要具备存储、更新、备份和恢复功能，并能够满足多用户、多应用的数据共享的需求，为分布式操作系统中其他的构件提供基础。,25,云计算关键技术,分布式文件系统考虑的关键问题,网络透明性：分布式文件系统通常同时运行在
13、多台计算机上，有时甚至构建在广域网络中，但呈现给用户和应用程序的感觉是和使用单台机器相同的，用户和应用程序可以用访问本地文件相同的方式访问远程文件，换言之，应用程序无法发现本地文件和远程文件的区别，最完美的情况就是分布式文件系统的用户无需知道文件的物理位置；高可用性：数据的高可用性是系统可靠性的基础，用户的文件访问过程不能因为局部网络故障或系统调度（例如在服务器之间备份数据）而出现中断。通常通过文件副本来实现系统的高可用性，最理想的情况是，只要系统中存在一个有效的副本，用户就可以访问该文件；可扩展能力：理论上来说，分布式系统的节点规模随时都有可能发生变化，分布式文件系统应能自动适应节点变化而导
14、致的资源的变化；强大的资源管理能力：它应能根据系统中节点数以及负载情况而动态决定文件资源的分布情况，并在必须的时候进行调整。,26,云计算关键技术,分布式文件系统架构,27,云计算关键技术,分布式文件系统架构,28,云计算关键技术,分布式数据处理-MapReduce,MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）“和“Reduce（化简）“，和他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）
15、函数，用来保证所有映射的键值对中的每一个共享相同的键组。,29,云计算关键技术,MapReduce编程模型,每一个Map函数就是对一部分原始数据进行指定的操作。每个Map操作都针对不同的原始数据，因此Map与Map之间时相互独立的，可以并行化。 一个Reduce操作就是对每个Map所产生的一部分中间结果进行合并操作，每个Reduce所处理的Map中间结果互不交叉，所有Reduce产生的最终结果经过简单的连接就形成了完整的结果集，所以Reduce也可以并行化。,主要函数： Map: (in_key,in_value)-(keyi, valuej)|j=1k Reduce: (key, value
16、1,valuem)-(key, final_value),30,云计算关键技术,Dean, J. Ghemawat, S. MapReduce: Simplified data processing on large clusters 2008,MapReduce实现机制,31,云计算关键技术,MapReduce实现机制,1. The MapReduce library in the user program rst splits the input les into M pieces of typically 16 megabytes to 64 megabytes (MB) per pie
17、ce (controllable by the user via an optional parameter). It then starts up many copies of the program on a cluster of machines. 2. One of the copies of the program is special the master. The rest are workers that are assigned work by the master. There are M map tasks and R reduce tasks to assign. Th
18、e master picks idle workers and assigns each one a map task or a reduce task. 3. A worker who is assigned a map task reads the contents of the corresponding input split. It parses key/value pairs out of the input data and passes each pair to the user-dened Map function. The intermediate key/value pa
19、irs produced by the Map function are buffered in memory. 4. Periodically, the buffered pairs are written to local disk, partitioned into R regions by the partitioning function. The locations of these buffered pairs on the local disk are passed back to the master, who is responsible for forwarding these locations to the reduce workers.,
