《云计算概述》由会员分享，可在线阅读，更多相关《云计算概述（79页珍藏版）》请在金锄头文库上搜索。
1、 云计算简介谷歌GAE三大云计算 亚马逊AWS开源Hadoop理论研究热点总结与展望 一种在规模经济驱动下产生的大规模分布式计算。它是一个资源池，其中包含了抽象的、虚拟化的、可动态伸缩和管理的计算资源、存储资源、平台和服务，并通过因特网按需提供给用户。Google File System(GFS) BigTable MapReduceClientClientReplicasMastersGFS MasterGFS MasterC0C1C2. C5Chunkserver 1C0C5Chunkserver NC1C3.C5Chunkserver 2ClientClientClient文件被分割成c
2、hunks (典型大小为64 MB)Master 管理元数据数据传输直接在clients/chunkservers之间进行容错技术冗余备份日志校验和管理技术大规模集群安装升级故障检测节点动态加入节能技术Google File System(GFS) BigTable MapReduce为什么设计BigTable？数据种类繁多海量服务请求设计目标：适用性可扩展性高可用性简单性数据模型(row, column, timestamp) cell contents基本架构Google File System(GFS) BigTable MapReduce数据处理的两个阶段Map: (in_key, i
3、n_value) (keyj, valuej) | j = 1kReduce: (key, value1,valuem) (key, f_value)为什么使用Dynamo？半结构化数据：购物车、信息会话管理和推荐商品列表数据处理方式：简单的读取、写入，简单的键值键值方式存储实现：位的形式存储，处理所有的数据类型应用：S3构建在Dynamo之上，SimpleDB也极有可能问题问题相关技术相关技术数据均衡分布改进的一致性哈希算法数据冲突处理向量时钟临时故障处理数据回传、弱quorum机制永久故障手的恢复Merkle哈希树成员资格以及错误检测基于gossip的成员资格协议和错误检测一致性哈希算法临
4、时性故障处理机制弱quorum机制（W,R,N）和数据回传永久性故障后的恢复Merkle哈希树Gossip协议错误检测失效停传定期检测新节点A种子节点BC新节点亚马逊机器映像（AMI）实例（Instance）弹性块存储块（EBS）区域（Zone）通信机制安全及容错机制三个概念：对象、键、桶基本操作：Get、Put、List、Delete和Head操作对操作对象象GetPutListDeleteHead桶获取桶中对象创建或更新桶列出桶中所有键删除桶无对象获取对象数据和元数据创建或更新对象无删除对象获取对象元数据身份认证基于HMAC-SHA1的数字签名方式Access Key ID，Secret
5、Access Key，服务请求字符串访问控制三类用户（owner、user、group）五类访问权限（Read，Write，Read_ACP, Write_ACP, FULL_CONTROL）属性属性1属性属性2条目1值值条目2值值属性属性1属性属性2条目1值值条目2值值域1域2用户账户域3基本部分：系统组件、消息、队列内容推送服务CloudFront电子商务服务DevPay和FPS简单支付服务SimplePay土耳其机器人AlexaWeb服务 开源云计算系统开源云计算系统商用云计算系统商用云计算系统Hadoop HDFSGoogle GFSHadoop MapReduceGoogle Map
6、ReduceHadoop HbaseGoogle BigtableHadoop ZooKeeperGoogle ChubbyHadoop PigGoogle SawzallEucalyptus、NimbusAmazon EC2EucalyptusAmazon S3Sector and Sphere无Abiquo无MongoDB无设计前提与目标硬件错误是常态而不是异常流式数据访问大规模数据集简单一致性模型移动计算比移动数据更划算异构软硬件平台间的可移植性冗余备份副本存放心跳检测安全模式数据完整性检测空间回收元数据磁盘失效快照副本选择负载均衡客户端缓存流水线复制逻辑模型：分治的策略实现机制分布式并
7、行计算本地计算任务粒度连接（combine）分区（partition）读取中间结果任务管道逻辑模型基本类型：行关键字、时间戳和列行关键行关键字字时间时间戳戳列列content列列anchor列列mime“n.www”t9anchor:CNNt8anchor:t6.text/htmlt5.t3.物理模型：行分割，列存储行关键字行关键字时间戳时间戳列列n.wwwt6.t5.t3.行关键字行关键字时间戳时间戳列列n.wwwt9anchor:CNNt8anchor:行关键字行关键字时间戳时间戳列列n.wwwt6text/html子表服务器Hmemcache,Hstore,Hlog主服务器子服务器连接超
8、时元数据表映射关系根子表（ROOT Table）开发目的为研究人员提供一个云计算研究平台设计原则可移植性模块化体系结构可扩展性非侵入工程目标：可扩展性和非入侵GAEAWSHadoop提供服务类型PaaSIaaS、PaaS、SaaSPaaS服务间的关联度耦合度高耦合度低耦合度低虚拟化技术未使用Xen未使用运行环境云端云端云端支持编程语言Python、Java多种多种数据库Datastore BigtableOracle等或SDBHBase使用限制最多最少较少实现功能最少最多较多计费方式免费、付费按使用量付费可扩展性自动扩充、负载均衡手动或编程手动或编程应用间的隔离沙盒虚拟机 Youseff划分方
9、法Lenk划分方法基础设施共享，信息动态传递设计原则发送和存储尽量少的个人信息保护云中的个人信息最大限度的实现用户控制明确和限制数据使用目的提供反馈机制Chukwa-HadoopVM内部监测监测方法监测方法能力能力影响程度影响程度健壮性健壮性主机代理较好较差好陷阱与检查好较好差检测点与回滚好较好差体系结构监控较差较好好计算机能耗变化曲线 作业请作业请求（求（10，10）实际实际CPU利利用率用率实际磁实际磁盘利用盘利用率率目标目标CPU利利用率用率目标目标磁盘利磁盘利用率用率欧几里欧几里得距离得距离A初始3030805053.897.8A分配后4040805041.2B初始4010805056
10、.696.2B分配后5020805042.4云计算环境的特点可并行不信任远程复制基于分析的数据库管理效用容错能够在异构环境中运行能够操作加密数据能够与商业化的智能产品交互提高并行优化性能-一个基于结构化覆盖的云系统索引框架All-Pairs挑战：调度延迟节点失效和数量数据分发隐藏限制步骤：建立模型分发数据调度作业收集结果和清理GridBatchDFS：GFS的扩展，支持固定块大小和固定块数目作业调度Map控制器分发控制器合并控制器递归控制器笛卡尔控制器Neighbor控制器Cumulus：数据中心科学云CARMEN：e-Science云计算Reservoir：云服务融合平台可扩展、灵活性、可靠
11、性的框架语义分析应用Web技术如RDF、OWL是完成数据集成任务的首选MapReduce处理大规模数据经济、实用因此二者结合提供了一个针对大规模异构数据集成、查询和推理的完美解决办法生物学应用BLASTGSEA数据库应用部署安装和性能优化商业应用企业文本分析平台地理信息应用高性能工作流安全威胁：垃圾邮件新型病毒用户权限隐私信息反垃圾邮件网格分布式统计协同贝叶斯学习算法CloudAV：终端恶意软件检测滞后杀毒自身漏洞关键改进：云端检测N-Version保护技术AMSDS：恶意软件签名自动检测轻量级桌面引擎去噪，保留可能插入恶意代码的部分云端检测反病毒（静态分析、动态分析）破坏恶意软件的PE格式云
12、平台上的数字签名身份认证控制个人信息的公开度和使用IdM必须具有协同工作的能力全球企业IT成本曲线 一种在规模经济驱动下产生的大规模分布式计算规模经济的优势传输光子要比传输电子容易的多技技术术中型数据中心成本中型数据中心成本特大型数据中心成本特大型数据中心成本比比率率网络$95 每Mb/秒/月$13 每 Mb/秒/月7.1存储$2.20 每 Gb/月$0.40 每 Gb/月5.7管理140个服务器/管理员1000个服务器/管理员7.1每度电的价每度电的价格格地点地点定价因素定价因素3.6美分爱达荷州水力发电，没有长途输送10.0美分加州无没电，长途输送18.0美分夏威夷运输发电能源 云格（Gloud）=Grid+Cloud无统一标准松耦合性数据处理商业数据迁移成本（物理分散、逻辑集中）信息安全
