《云计算(徐迪威)课件》由会员分享，可在线阅读，更多相关《云计算(徐迪威)课件（55页珍藏版）》请在金锄头文库上搜索。
1、云 计 算Cloud Computing,广东省计算中心 广东省高性能计算重点实验室 徐迪威,云计算的概念及其发展,1,云计算关键技术,2,3,1,4,云计算体系架构,云计算展望,提 纲,云 计 算 的 演进,云计算 ,后网络时代,什么是云计算？,云计算是一种基于互联网的超级计算模式，也是一种创新的商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。,Cloud Definition - US Federal Government,5,云计算的技术背景,云计算是并行计算(Parallel Computing)、分布式计算(Di
2、stributed Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。 云计算是虚拟化(Virtualization)、SOA(Service Oriented Architecture)等概念混合演进并跃升的结果。,云计算的概念模型,HP Federal Practice Lead,“Everything as a Service” Delivered by Cloud,Backup,Search,Email,Social Networking,Storage,Location-based Services,Mobile Servic
3、es,Management Apps,Business Apps,Media Sharing,Cloud Computing Means Many Different Things to Different People,云计算的服务类型,Amazon EC2 IBM Blue Cloud 世纪互联,Google App Engine F Windows Azure 百度,Google Apps Microsoft Office Live Facebook 阿里巴巴,10,云计算的特点,12,数据在云端：不怕丢失，不必备份，可以任意点的恢复 。 软件在云端：不必下载自动升级 。 无所不在的计算
4、：在任何时间，任意地点，任何设备登录后就可以进行计算服务。 无限强大的计算：具有无限空间的，无限速度。,硬件为中心,软件为中心,服务为中心,云计算的优势,买外部服务,实现模式,技术模式,商业模式,人机界面,传统方式,云计算,可扩展，有弹性，动态，多用户,所用即所付,通过Internet使用 (IP, HTML, HTTP),买设备开发系统,用户单一,支付设备和劳动力费用,互联网/局域网,云计算带来的变化,典型的云计算平台,MapReduce是Google开发的Java、Python、C+编程工具，用于大规模数据集（大于1TB）的并行运算，也是云计算的核心技术，一种分布式运算技术，也是简化的分布
5、式编程模式，适合用来处理大量数据的分布式运算，用于解决问题的程序开发模型，也是开发人员拆解问题的方法。 MapReduce模式的思想是将要执行的问题拆解成Map（映射）和Reduce（化简）的方式，先通过Map程序将数据切割成不相关的区块，分配给大量计算机处理达到分布运算的效果，再通过Reduce程序将结果汇整，输出开发者需要的结果。,MapReduce,MapReduce A New Model and System,Two phases of data processing Map: (in_key, in_value) (keyj, valuej) | j = 1k Reduce: (k
6、ey, value1,valuem) (key, f_value),18,GFS Architecture,Google48%,MSN19%,Yahoo33%,Files broken into chunks (typically 64 MB) Master manages metadata Data transfers happen directly between clients/chunkservers,Client,Replicas,Masters,GFS Master,GFS Master,C0,C1,C2,C5,Chunkserver 1,C0,C2,C5,Chunkserver
7、N,C1,C3,C5,Chunkserver 2,Google云计算中心,Amazon Elastic Compute Cloud (EC2),$.10 per server hour,Virtual Compute Cloud Elastic Capacity 1.7 GHz x86 1.7 GB RAM 160 GB Disk 250 MB/Second Network Network Security Model Time or Traffic-based Scaling, Load testing, Simulation and Analysis, Rendering, Softwar
8、e as a Service Platform, Hosting,$.10 - $.18 per GB data transfer,EC2 SOAP/Query API,Images: RegisterImage DescribeImages DeregisterImage Instances: RunInstances DescribeInstances TerminateInstances GetConsoleOutput RebootInstances Keypairs: CreateKeyPair DescribeKeyPairs DeleteKeyPair,Image Attribu
9、tes: ModifyImageAttribute DescribeImageAttribute ResetImageAttribute Security Groups: CreateSecurityGroup DescribeSecurityGroups DeleteSecurityGroup AuthorizeSecurityGroupIngress RevokeSecurityGroupIngress,典型应用,Microsoft Windows Azure,一个基于Internet的云服务平台。提供操作系统和一系列的开发服务，各种服务可进行自由组合。,27,IBM Blue Cloud
10、,云计算的概念及其发展,1,云计算关键技术,2,3,1,4,云计算体系架构,结论与展望,提 纲,云计算技术体系结构,云计算技术体系-服务层次关系,技术体系,服务层次,IaaS实现机制,用户交互接口向应用以Web Services方式提供访问接口，获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。配置工具负责在分配的节点上准备任务运行环境。监视统计模块负责监视节点的运行状态，并完成用户使用节点情况的统计。,Hadoop架构 在Google发表MapReduce后，2004年开源社群用Java搭建出一套Hadoop框架，用于实现MapRed
11、uce 算法，能够把应用程序分割成许多很小的工作单元，每个单元可以在任何集群节点上执行或重复执行。 Hadoop 提供一个分布式文件系统GFS（Google file system），是一个可扩展、结构化、具备日志的分布式文件系统，支持大型、分布式大数据量的读写操作，其容错性较强。 分布式数据库（BigTable）是一个有序、稀疏、多维度的映射表，有良好的伸缩性和高可用性，用来将数据存储或部署到各个计算节点上。 Hadoop 框架具有高容错性及对数据读写的高吞吐率，能自动处理失败节点。,在架构中MapReduce API提供Map和Reduce处理，GFS分布式文件系统和BigTable分布式
12、数据库提供数据存取。基于Hadoop可以非常轻松和方便完成处理海量数据的分布式并行程序，并运行于大规模集群上。,Hadoop,MapReduce API (Map,Reduce),BigTable (Database),GFS (File System),云计算的概念及其发展,1,云计算关键技术,2,3,1,4,云计算体系架构,结论与展望,提 纲,1、MapReduce编程模型,MapReduce是一种编程模型，用于大规模数据集的并行运算。概念“Map（映射）”和“Reduce（化简）”和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会
13、分布式并行编程的情况下，将自己的程序运行在分布式系统上。 MapReduce软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。,MapReduce,1、Map/Reduce编程模型,Parallel/Distributed Computing Programming Model,Input split,shuffle,output,读入数据: key/value 对的记录格式数据 Map: 从每个记录里extract something map (in_key, in_value)
14、- list(out_key, intermediate_value) 处理input key/value pair 输出中间结果key/value pairs Shuffle: 混排交换数据 把相同key的中间结果汇集到相同节点上 Reduce: aggregate, summarize, filter, etc. reduce (out_key, list(intermediate_value) - list(out_value) 归并某一个key的所有values，进行计算 输出合并的计算结果 (usually just one) 输出结果,2、虚拟化技术,虚拟化是指计算元件在虚拟的基础
15、上而不是真实的基础上运行，是一个为了简化管理、优化资源的解决方案。虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。 虚拟化是一组模式和技术的集合，这些技术提供了支持资源的逻辑表示所需的功能，以及通过标准接口将其呈现给这些资源的用户所需的功能。,2、虚拟化技术,第一种，单一资源的多个逻辑表示： 这种模式是虚拟化最广泛使用的模式之一。它只包含一个物理资源，但是它向用户呈现的逻辑表示却仿佛它包含多个资源一样。用户与这个虚拟资源进行交互时就仿佛自己是惟一的用户一样，而不会考虑他正在与其他用户一起共享资源。虚拟机就是这种模式的一个例子。 硬件物理分区和逻辑分区或软件产品(如 VMware、Micr
16、osoft Virtual Server 和 Xen)都实现了服务器的虚拟化。数据库视图的使用将数据与用户隔离开来，这样可以基于用户的角色和身份验证对资源进行访问，即使在所有用户同时访问相同的数据库时，也不会出现任何问题。,实现虚拟化时常常使用的一些模式和技术：,2、虚拟化技术,第二种：多个资源的单一逻辑表示： 这种模式包含了多个组合资源，以便将这些资源表示为提供单一接口的单个逻辑表示形式。在利用多个功能不太强大的资源来创建功能强大且丰富的虚拟资源时，这是一种非常有用的模式。 存储虚拟化就是这种模式的一个例子。IBM 的 SAN Volume Controller 可以将几个存储卷组合在一起，将它们呈现为一个大型的单一存储设备，用户并不知道自己的数据被分散到了多个磁盘上。,实现虚拟化时常常使用的一些模式和技术：,2、虚拟化技术,第三种，在多个资源之间提供单一逻辑表示： 这种模式包括一个以多个可用资
