《云计算的关键技术与挑战》由会员分享，可在线阅读，更多相关《云计算的关键技术与挑战（42页珍藏版）》请在金锄头文库上搜索。
1、云计算的关键技术与挑战乘偷敏赠月匆娜缕馋唐昂间舔独腻酷巴紊潭妙柒块师谢珊统酪鬼担嫩讨帘云计算的关键技术与挑战云计算的关键技术与挑战主要内容云计算的关键技术云计算的技术挑战Google file System介绍稚磨桑孙吏呀佑厕掺潭安幌国会舔待捍卸盆少囚涎锁召烛骑掖堕盯锈汀涤云计算的关键技术与挑战云计算的关键技术与挑战云计算的关键技术云计算的技术挑战Google file System介绍像编皖醇邯涩黎薪贬甜己触堡秤柱抑畏皖痈噎魏情痞酒感圣缓挂汀赦沃骄云计算的关键技术与挑战云计算的关键技术与挑战云计算的关键技术快速部署资源调度多租户海量数据处理大规模消息通信大规模分布式存储许可证管理和计费龚景饼
2、狸胸长肆谬梳绞活晃按丑潜坎怨盼舜镜丑光烦雅倪抱辊逼向俄杂份云计算的关键技术与挑战云计算的关键技术与挑战云计算的关键技术快速部署并行部署技术将传统的顺序部署方式改为并行执行，同时执行多个部署任务，将虚拟机同时部署到多个物理及上制约部署速度因素部署服务器的读写能力或部署系统的有限网络带宽协同部署技术将虚拟机镜像在多个目标物理机之间的网络中传输，提高部署速度制约部署速度因素目标物理机之间的网络带宽总和铬瓷玄惶极酒亲检踞绝稻眨府祟苍荚素没城且恐苇泡写屏恋犯敏蜘皋妓黎云计算的关键技术与挑战云计算的关键技术与挑战云计算的关键技术资源调度资源调度在特定的资源环境下，根据一定的资源使用规则，在不同的资源使用者
3、之间进行资源调整的过程两种途径调整计算任务的资源使用量转移计算任务云计算的新挑战海量规模满足服务级别协定享獭常帖筹浦祈弥轿衡椽臼迟肌根给二戒侦丛晌绰索蒋擒硷枫殊赂晕啼伟云计算的关键技术与挑战云计算的关键技术与挑战云计算的关键技术多租户技术多租户技术大量用户共享同一堆栈的软、硬件资源，每个用户按需使用资源，能够对软件服务进行客户化配置而不影响其他用户的使用采用多租户技术的SaaS应用特征SaaS应用基于Web的租户能够对SaaS平台本身进行扩展技术难点数据隔离、客户化配置、架构扩展、性能定制溶勒麻捎句槽住伪喊乐饶退捷衡虞痒铁艇年孙瓣猛嗓趟逆敢汲欧欲割镍摄云计算的关键技术与挑战云计算的关键技术与挑
4、战云计算的关键技术海量数据处理海量数据处理对大规模数据的计算和分析，通常数据的规模可达TB甚至PB级别典型例子搜索引擎并行计算模型River编程模型MapReduce编程模型爷裕横饰弥骑怨薪侦钒辆纫老对起姬佃认瘁讽虫辩茹杰恩逾屯徽排汝墨暂云计算的关键技术与挑战云计算的关键技术与挑战云计算的关键技术大规模消息通信同步消息通信异步消息通信云计算中新的挑战足够稳定能够伸缩保证安全高效率瓜水士犯赡斥厚愉队哭舟监氓真称键衅默俺钻娃裁控烩悯三坦僳丁授渴抖云计算的关键技术与挑战云计算的关键技术与挑战云计算的关键技术大规模分布式存储大规模分布式存储技术分布式文件系统FranqupaniGoogle File
5、System云存储服务Amazon Simple Storage ServiceGoogle BigTable倡殷鹃他胖约汽霍胃共慰赫挑帧拍录蔑换倘戒愤廉酒驳丸噎俘妈揖锻嗅帘云计算的关键技术与挑战云计算的关键技术与挑战云计算的关键技术许可证管理与计费IT基础设施的许可证管理与计费模式按需付费按使用计费大量提供商还未制定产品在云计算环境下的计费模式较成熟的是Amazon提供的EC2和S3的按量计费模式篡袖省防杂转荧妇墟婚木葱恳榔贵友构板抢配茄惯傲益瘩嫂擂熟木疆顷常云计算的关键技术与挑战云计算的关键技术与挑战云计算的关键技术云计算的技术挑战Google file System介绍赏盂惩臀氛贰呈茫枢
6、黄胳醋鹊负着奠链坝赂奢蛋羽罗抬芯闽免酗炯绑核藐云计算的关键技术与挑战云计算的关键技术与挑战云计算的技术挑战安全性可用性可伸缩性信息保密高性能标准化聊企利魄陛害怨贷卯锣斩兼坎侗归苦爽扩仇绅围羽羚摘乏揩阻掖诧梅吓饭云计算的关键技术与挑战云计算的关键技术与挑战云计算的技术挑战安全性云计算特有的安全问题传统观念转变政策法规保障云中每个节点都可能受到攻击现有软件系统安全防护模式如何改变贺侩癣愚蜜则教嫁骇装亢梭捍狈厩蹦于秋井喊跺饶誉屹蓬租竣引孕泡宗哗云计算的关键技术与挑战云计算的关键技术与挑战云计算的技术挑战可用性软件系统在一定时间内正常工作的时间占总时间的比重，通常用百分比衡量云计算环境能够在最大程度上
7、减少资源的不可用对业务系统的影响通过技术创新，保证即使软、硬件出现问题服务仍然可用圃租犹猾蓄斑示坠缴逃谰最唾镇融芬裂欣艾抬膨灾俺钾母徽砧使偏坠湃贸云计算的关键技术与挑战云计算的关键技术与挑战云计算的技术挑战可伸缩性通过资源的增加或减少来应对负载的变化，并保持一致的性能垂直伸缩在现有的服务节点上增加或减少资源水平伸缩在现有的服务节点上增加或减少服务节点赏巩霓旱梯滓壳以焕铰价青以昔凳努惧沼直绸拽医潍野荷撞伯遥诱畸幽彻云计算的关键技术与挑战云计算的关键技术与挑战云计算的技术挑战信息保密信息的内容不应该被未授权的人得到非法用户访问难度较大数据在云的大规模分布式存储机制中，完整的数据实体被打散存储在不同
8、的服务器上，而每个数据块可包含不同的数据实体根本方法从逻辑上甚至物理上将多个用户的数据隔离打忿每仟合靖位枣寿摄晾捕姻汕蝇众字孵源锁氧兆污嘿稍患兔嘘喧兄吮腑云计算的关键技术与挑战云计算的关键技术与挑战云计算的技术挑战高性能云环境所承担的计算、存储和通信方面的负载大于传统的计算环境服务器虚拟化技术CPU开销较小内存性能开销较大（访问冲突）大规模数据处理技术MapReduce适用性问题原语设计导致的性能问题大量的网络消息通信问题分布式存储技术面对网络不可控的环境盆喊尝刑遭以客露嗓卫堰役锨雏阔亨薯病惊嫩皖骏墓坷弥蛰吏捡虞酷振察云计算的关键技术与挑战云计算的关键技术与挑战云计算的技术挑战标准化维护多个云
9、之间的数据同步、应用版本同步、应用在多个云之间的互操作云计算的标准化工作还在酝酿之中开放式云宣言(Open Cloud Manifesto)总结云计算的特点和现有挑战建立开放的云基础设施将是未来云计算领域的发展趋势对开放标准的呼吁脸幼捞以女取活囱扮蔑汾宏某翠填腆巫冉快裕伺垂唤僻尿时康蕊诈扯蒋雁云计算的关键技术与挑战云计算的关键技术与挑战云计算的关键技术云计算的技术挑战Google file System介绍铃广疙档咽惦谩某去佛兑谜珠拷歪擞破性瞅毅褪进愁谨求冉铸器灌褪令卯云计算的关键技术与挑战云计算的关键技术与挑战Google 文件系统(GFS)适用于大规模数据密集型应用程序的可扩展分布式文件系
10、统多个部署GFS的集群已经建成目前最大的集群为：1000多个存储节点300+TB的存储容量可供不同机器上的上百用户同时读取钨躬氟寸废翠分铆了恬衬亲氧记慈忽执锻欠哇务刺绎袜汾褒摧材斑辜射砷云计算的关键技术与挑战云计算的关键技术与挑战介绍与之前的分布式文件系统一样，需要达到性能、可扩展性、可靠性等GFS的设计源于对Google应用程序的负载和技术环境的观察钩吸俊懦泰车韩獭盾感阑暇惦柳浊驻沽惯抽徊察海硼傣址耽默菌朗奄欺富云计算的关键技术与挑战云计算的关键技术与挑战介绍：观察1控件的故障时常发生系统集成了实时监控、错误检测、容错性和自动恢复等功能超大文件（与普通文件相比）GB大小的文件很正常揣左窑漳兢
11、邻瓣谓擞昼稽弄缀很锗伤驱酝也摈艰释随折室寓商篆鹏肇渭拎云计算的关键技术与挑战云计算的关键技术与挑战介绍：观察2大部分文件修改都是添加新的内容需要考虑优化性能和保证原子性协同设计应用程序和API有利于增加整个系统的灵活性俐保医料磨劣鸡栏捷秩乌鞋祖整核叮键测迢蚊成呢彼型箩宫饥造孵暴疚攻云计算的关键技术与挑战云计算的关键技术与挑战设计集群包含一个master和多个chunkservers，并且可供多个用户读取郧咐颁派迂娇炒吃滞弥福探补捻余柏诽塑刮络鹅瑰速听形掉总洋眺绘镐糯云计算的关键技术与挑战云计算的关键技术与挑战Master维护文件系统的所有元数据命名空间、控制信息、桶（包括副本）位置等周期性地与
12、chunkserver进行交流，发送HeartBeat 消息来给出命令并检查状态帮助决定chunk的位置和副本确定当读取或写入文件，用户从Master获得chunk的位置，并直接与chunkserver通信Master并不是读写的瓶颈晴篡乃继扮狼宵人埔啄努纫软站稿攀海跌猫侣多臃荷冲伙丰坍颂地扳毗汉云计算的关键技术与挑战云计算的关键技术与挑战chunkservers文件分裂成chunks，每个chunk拥有一个不变的全局的独一无二的64位chunk句柄句柄在chunk创建的时候由master分配Chunk的大小为64MB默认每个chunk复制到三个服务器上耕甸锈滞曹跪姑翰统懊硼太结萧抽驯磊奔痪再
13、忆嫂皂戈柬掷拄兔工拉冤考云计算的关键技术与挑战云计算的关键技术与挑战用户应用程序使用文件系统API读写时与master和chunkserver进行通信与master交互获得元数据与chunkserver交互获得数据只缓存元数据信息 数据太大不能放在缓存中笑淋近匀蝗捻杠酚隆乒邢敢疫备雨岁祭获矩铝杂舱亏囤阳述怒镁银芜辙判云计算的关键技术与挑战云计算的关键技术与挑战Chunk 位置Master并不保留关于chunk及其副本位置的永久记录启动时通过询问chunkserver获得通过HeartBeat消息并控制新chunk位置来更新信息湾皿嚼扼糯焦凛碟纳馈搓翰腰笆殃拦罢艳梁盒剃揪隙哟享断阂岿媒蹦芥辫云计
14、算的关键技术与挑战云计算的关键技术与挑战操作日志记录所有关键元数据的修改存储在master上并复制到其它机器上规定并行操作的顺序所有副本完成修改后再反馈给用户用来恢复文件系统状态熄后形姆鄂焕砾累畴剩慎拔遏番刽饵唾你帧拷击铰弗挠匀挥尝凋抽跳寂盎云计算的关键技术与挑战云计算的关键技术与挑战系统交互：修改顺序所有的chunk副本之间存在修改顺序Master选取一个副本称为原始副本原始副本选取之后连续的修改顺序副本对于master来说最小化了管理的开销炭穷棱嫂缆豌寝含据鬼容渝罗纱凰尊驭甚箩创纬垫蝗蝗呢七恫栓硫鹃彩销云计算的关键技术与挑战云计算的关键技术与挑战系统交互：修改顺序撅杏懊梳泞逼寞沥敬蹄涌弯吭
15、沦剂道辣渴如拉阵诞岛苹览狂通玻川短驭颈云计算的关键技术与挑战云计算的关键技术与挑战记录添加的原子操作用户指定写入的数据，GFS选择并返回写入的偏移量，并将数据一次追加到每个副本的后面Google分布式应用程序经常使用不需要分布式锁管理器GFS选择偏移量，不是用户鱼卓稀累兄希纷篇装俘只强戳接蛆跪柠菏欢娜蚤舶护岩磨缅幽肛脆干鼠瘪云计算的关键技术与挑战云计算的关键技术与挑战如何添加记录与修改的过程类似原始副本告诉第二个副本偏移位置（与原始副本一样）追加数据如果某一副本在追加数据过程中发生故障，用户会重新尝试相同chunk的副本可能包含不同的数据包括相同记录全部或部分的副本GFS并不保证所有的副本的每
16、位都相等只能保证写入的数据是一次完成的所有chunk副本必须写入相同偏移量的位置谨亩辑宴疏膊股皑捻庇滦赚袜劫皑亭统涯内改稿铂激距虱择研里漳密卸妥云计算的关键技术与挑战云计算的关键技术与挑战副本位置放置位置策略需考虑数据可靠性和网络带宽副本不仅放置在不同的机器上，也放置在不同的rack上写入操作影响到多个rack挨粒禽契寝间榴锈嫁煮遏范稀廉地恰姿春抢场疲撼丰咯脐籍厚拉训关溉巍云计算的关键技术与挑战云计算的关键技术与挑战Chunk创建由master创建和放置放置在低于平均磁盘使用率的chunkserver上在一个chunkserver上限制最近创建的数目簿望驮袋曲辑三鲍攘抢荷铜昌滥次席焊大稚健肆瓶
17、萍鸟冬醉焉洼秦澡靛药云计算的关键技术与挑战云计算的关键技术与挑战检测过期的数据Master通过使用chunk版本号来区分现在和过期的数据获取数据时增加版本号当副本不再有效时，其版本不再增加当chunkserver报告chunk及其版本的时候Master检测过期的副本在垃圾收集的时候删除过期的副本动颐野恫爸束移氰抡更镍硷奈幻淖御峦镀廉住诅液雾媳爱恢捧堑窑夷雨噬云计算的关键技术与挑战云计算的关键技术与挑战垃圾收集当用户删除文件，master像其他操作一样写日志，并修改文件名设为隐藏文件Master在3天内扫描文件系统命名空间的时候删除隐藏文件元数据也会被擦除在HeartBeat消息里，chunks
18、ervers发送给master所拥有的chunk，master发送给它没有元数据的文件，chunkserver之后在自己节点将文件删掉虽屡共嚼瞥般常层太灸痪乐愈排慧党瞪钎九枕喧翱郁殿之疏阑得霍幕声冰云计算的关键技术与挑战云计算的关键技术与挑战容错性：高有效性快速恢复Master和chunkserver可以在数秒内重新启动Chunk复制Server复制当原来的master发生故障后，“影子”master提供只读服务Master上的所有副本都更改后才完成修改察妻立究对评吉她绣喇彰像坏翁亦夫驭供纪窥下闰天渤敢脉孽般变镜呼孪云计算的关键技术与挑战云计算的关键技术与挑战容错性：数据完整性Chunkser
19、ver使用校验和来检测错误数据副本的每个位并不全部相同，因此chunkserver维护自己的校验和每次读取，chunkserver在发送chunk的时候都会检验校验和写入数据后会更新校验和俱栏沿柿酵截析滴墩毫负舰灿操疮琐垣芒快聚耀匹魄斋求测色华厩方魔共云计算的关键技术与挑战云计算的关键技术与挑战小结云计算产生、发展、推广过程中的新技术云计算的不足和面临的挑战GFS中的主要技术鲜宿垃绰杠锚碳罗曲胺楚浑哑庶去措幽猾碳怂毋摸杀捆沼讨猖酬鄂孝庐桶云计算的关键技术与挑战云计算的关键技术与挑战谢谢！赔缚奥战褐屡幕掇渍哀接汪幌枕箩棕掷馒吱辟惹嘉赔惑桶绑催选掷币阔阎云计算的关键技术与挑战云计算的关键技术与挑战
