《google云计算培训课件》由会员分享，可在线阅读，更多相关《google云计算培训课件（42页珍藏版）》请在金锄头文库上搜索。
1、www.si-Google云计算原理研究院 黄兵2Reached Our Goal认识云计算（理解）理解Google 云计算实现原理（难点）可独立在GAE上开发云服务应用了解TMF？以及云未来的发展（了解）3初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度44We have a dream 愿景愿景: :计算机的服务能力可以作为一种商品进行流通。就 像水、电、 气一样取之方便，费用低廉5云计算定义图：云计算概念模型云计算:是一种 商业计算模型。 它将计算任务分 布在大量计算机 构成的资源池上 ，使各种应用系 统能够按需获取 计算力、存储空 间和信息服务
2、。6云计算服务的部署形式IaaS基础设施云 (代表：亚马逊的S3)SaaS 应用云 （代表：salesforce的CRM）PaaS 平台云 （代表：Google App Engine）私有云 (数据中心 内部网)公共云 (服务提供商 互连网)混合云 (公共和私有)X as a service7Amazon 云计算1GB数据存放1个月为0.15美元每个服务器租用1小时为0.1美元1. Amazon的IaaS云计算思路 弹性计算云EC2为企业提供计算服务 简单存储服务S3为企业提供存储服务2. Amazon的IaaS运用实例亚马逊IaaS应用案例：纽约时报使用亚马逊云计算服务效果：在不到 24个小
3、时的时间里处理 了1100万篇文章费用：累计花费240美元利用自己服务器时间：数月时间费用：多得多的费用 89Google 云计算1. Google的云计算思路“浏览器操作系统”102. 隶属PaaS的Google云计算Google 云计算PaaS 属于部署在云端的应用执行环境 支持Python和Java两种语言 通过SDK调用Google的各种服务。如Google Map、Mail等 用户可快速、廉价（可免费使用限定的流量和存储）地部署 自己开发的应用（如创新的网站、游戏等） 在下一章将具体介绍GAE具体的应用11Google 云计算SaaS3. 隶属SaaS的Google云计算提供在线“W
4、ord、Excel、PPT”提供在线MAP提供在线日历管理Google云计算平台技术架构分布式文件系统 Google Distributed File System并行数据处理 MapReduce分布式锁 Chubby结构化数据表 BigTableGoogle如何实现云？GoogleGoogle云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubby y12将在第二章详细介绍将在第二章详细介绍13云计算概念入门14初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度4Google云计算原理G
5、oogleGoogle云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubby y151617Google设计GFS的动机 Google需要支持海量数据存储的文件系统购置昂贵的分布式文件系统与硬件？是否可以在一堆廉价且不可靠的硬件上构建可靠的 分布式文件系统？GFS的设计思路1. GFS设计原则：机器失效不能视为异常现象 能应付对大型/超大型文件处理 支持大量用户同时访问1. GFS组成GFS集群:一个的Master和多个ChunkServer（块服务器）组成 ，并可以多客户端Client访问2. GFS设计要点每个文件拆成若干
6、个64M文件块Chunk组成 每个Chunk都由Master根据其创建时间指定Chunk Handle(64) 文件块被保存在ChunkServer本地磁盘中 缺省情况下3处热备份Chunk块文件18GFS的设计思路4. Client职责包含文件系统的API 负责和ChunkServer和Master通信 代表应用程序进行读写操作 Client和Master进行元数据操作 Client和ChunkServer进行文件数据操作 5. Master职责负责管理所有文件系统的元数据 元数据包括：命名空间，访问控制信息，文件到Chunk的映射 信息等6. ChunkServer职责负责存储chunk文
7、件块 Linux文件系统1920GFS的系统架构应用程序GFS客户端GFS数据块服务器Linux文件系统GFS主服务器文件命名空间Chunk 2EEE/foo/barGFS数据块服务器Linux文件系统标注：数据信息控制信息文件名，chunk索引向数据块服务器发指令 返回数据块服务器状态Chunk句柄和位置Chunk句柄，查找数据返回数据信息21Question文件为什么要被化分为64M？Answer：1、可以减少Client和Master的之间的交互，减少Master的负载2、客户端可以在一个Chunk中完成许多操作3、可以减少TCP三次握手时间。另外这些信息都要被Master管理的缺点：有
8、冗余GFS架构的特点l 采用中心服务器模式Master可以方便地增加Chunk Server Master掌握系统内所有Chunk Server的情况，方便进 行负载均衡 不存在元数据的一致性问题l 不缓存数据 必要性：Client流式读取，非重复读写 可行性：Master本身管理多个Server，很复杂22GFS容错机制l Chunk Server容错每个Chunk有多个存储副本（默认是3个），分别存储于不通 的服务器上每个Chunk又划分为若干Block（64KB），每个Block对应一个 32bit的校验码，保证数据正确（若某个Block错误，则转移 至其他Chunk副本）l Maste
9、r容错三类元数据：命名空间（目录结构）、Chunk与文件名的映射 以及Chunk副本的位置信息前两类通过日志提供容错，Chunk副本信息存储于其它Chunk Server。这样Master出现故障时可恢复2324GFS实验效果图ChunkServer 1ChunkServer 2ChunkServer 16Master Client 1Client 2Client 16路由器 1路由器 2MasterGoogle云计算原理GoogleGoogle云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubby y25并行计算基础l 摩尔
10、定律正在走向终结单芯片容纳晶体管的增加，对制造工艺提出要求 CPU制造18nm技术，电子泄漏问题 CPU主频已达3GHz时代，难以继续提高 散热问题（发热太大，且难以驱散） 功耗太高26未来的发展：多核27什么样的问题适合并行计算？l 斐波那契序列(Fibonacci) Xl 计算URL访问频率 YMap函数处理日志中web页面请 求的记录，然后输出(URL,1)。 Reduce函数把相同URL的value 值都累加起来，产生(URL,记录 总数)结果。Google为什么需要MapReduce？l Google拥有海量数据，并且需要快速处理l 什么是MapReduce？28Google Map
11、Reduce 架构设计师 Jeffrey DeanJeffery Dean设计一个新的抽象模型， 使我们只要执行的简单计算，而将并行化 、容错、数据分布、负载均衡的等杂乱细 节放在一个库里，使并行编程时不必关心 它们这就是MapReduce29Google 并行运算编程模型MapMapMap 原始数据 1原始数据 2原始数据 MReduceReduce结果 1结果R1、在编程的时候，开发者需 要编写两个函数：Map:(in_key, in_value)Reduce:(key,value 1,value 2)2、Map操作产生结果是 对3、在Map，Reduce之间系 统把同一Key归类到Red
12、uce3、Reduce操作对相同的Key 进行归类处理30MapReduce实现机制用户程序(1)分割(1)分割(1)分割Master工作机M工作机M工作机M工作机 R工作机 R(2)指派Map(2)指派Reduce片段1片段4片段3片段2输入文件(3)Read(4)本地存储输出文件0输出文件1Map状态本地存储Reduce状态输出文件(5)远程读取(6)写入文件31单词计数 体现M/R算法Hello World Bye World Hello China Bye China Hello Si-tech Bye Si-tech 输入数据：MapReduceHello ：3 Bye ：3 Chi
13、na ：2 World ：2 Si-tech：2Map(Key,Value) for( each world world in value) collect(world,1); Reduce(Key,Value ) int count = 0;for(each w in value) count +;collect(Key,count); 1)32Hello World Bye World Hello China Bye China Hello Si-tech Bye Si-tech 2)分割分割分割Hello World Bye WorldHello China Bye ChinaHello
14、 Si-tech Bye Si-tech KEY VALUEKEY VALUEKEY VALUE3)Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech MAPMAPMAP334)Map输出FoldFold输出34Fold输出5)Reduce输出ReduceMapReduce容错机制l 背景 MapReduce设计初衷：由普通PC组成的集群来处理超大规模的 数据，所以有效的错误保障机制是必不可少l Worker容错Master周期性的ping每个workerl Master容错Master周期性的将Master的
15、数据结构的写入磁盘，即检查点 （checkpoint）Master数据结构包括: Map和Reduce任务的状态（空闲、工作 中或完成)，以及Worker机器(非空闲任务的机器)的标识。35Google云计算原理GoogleGoogle云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubby y3637初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度438GAE部署云应用39初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度4TMF See Sun
16、ny Future In Tele Management World American40TMF简介1、电信管理论坛 ,非盈利联盟组织2、会员遍布全球195个国家，700+会 员公司3、我们公司也是会员，享受会员权利4、业界广泛使用的 eTOM,SID,TAM,NGOSSTMF最新框架技术结束语1. 云计算的出现并快速发展，一方面是虚拟化技术、分布式计算 等技术发展的结果， 另一方面也是互联网应用不断丰富趋势的 体现。目前，虽然有Amazon、Google、IBM、Microsoft等在推 ，但云计算还没有一个统一的标准。2. 云计算平台已经为很多用户所使用， 但是云计算在行业标准、 数据安全、服务质量、应用软件等方面也面临着各种问题，这 些问题的解决需要技术的进一步发展。3. 现有的研究大多集中于云体系结构、云存储、云数据管理、虚 拟化、云安
