《云计算的前世今生v1.1》由会员分享，可在线阅读，更多相关《云计算的前世今生v1.1（54页珍藏版）》请在金锄头文库上搜索。
1、云计算的前世今生目录2012-3-11云概念云演化云核心云厂商云体验云银行1.云概念n WIKI:Cloud computing is the delivery of computing as a service rather than a product, whereby shared resources, software, and information are provided to computers and other devices as a metered service over a network (typically the Internet).2.云演化 (1)n两个根
2、本问题u获取更强大的计算能力计算能力存储能力数 据处理能力云计算：通过大规模集群等方法增强计算能力u降低计算机支出省电省人力省机器云计算：通过虚拟化的方法降低计算支出2012-3-112.云演化 (2)n计算机性能提高之路uCPU体系统结构2012-3-11流水 乱序执行 超标 量单核多线程(SMT)多核单芯片2.云演化n计算机性能提高之路u并行计算机2012-3-11并行向量机对称多处理机（ SMP）分布式共享存储（DSM）超大规模并行处理机（ MPP）工作站机群（cluster）2.云演化n计算机性能提高之路u并行计算MPI/MPICH2PVMHPF并行算法u分布式计算科学计算：企 业分布
3、式计算 RPC， SOCKET， CICS EJB,CORBA,DCOM WEB-SERVICE。u网格计算理念：电网通过软件平台连接异构资源网格节点常常是超算中 心广域网连接2012-3-112.云演化n计算机的性能提高之路uGoogle神话数据百万台廉价服务器，超越大型计算机集平台、应用于一身三篇著名的论文：发表在操作系统设计的国际会议基于 Google的思想，开源中间件产生： hadoop2012-3-11云计算连接尽可能多的电脑多样的硬件资源选择简单的用户访问2.云演化n费用降低之 路2012-3-11系统结构进步通用化低功耗专业化运营高效调度2.云演化n虚拟化如何降低支出u便于交付增
4、加一个操作系统不需要增加一套设备、供电、场地u充分利用错峰使用资源：在不同的时间段满足不同的需求可以更方便的实现智能调度。u便于管理高可用性动态部署u扩展性强高度可定制有虚拟器件的支持 2012-3-112.云演化n费用降低之路uAMAZON的省钱之道为应对峰值情况，建立了过剩的 IT设备将这些设备、技术和经验作为一种打包产品去为其他企业提 供IT服务提供存储、计算、数据库、电子商务等服务基于 AMAZON云平台的成功案例：纽约时报， smugmug2012-3-11云计算大量的后端资源基于虚拟化的管理方法按需使用的理念2.云演化 -理想n整合计算资源的角度： 1+1=2u存储1+1约等于 2
5、实现大容量、高可扩展的存储uCPU、 内存一般情况 1+12取决于应用场景n从充分利用计算资源的角度u2-1=1减少虚拟的性能损失u资源池便于交付便于拆分动态迁移动态部署 2012-3-112.云演化 -另一个重要特征 n基于网络的交付u交付的内容硬件资源、开发平台、应用软件。统称为服务u支持交付的技术现代 WEB技术 RIA， AJAX， FLASH， HTML5， SILERLIGHT足够快的网速1=1： 充分将后端的服务能力交互给用户2012-3-112.云演化 -概念解析n WIKI:Cloud computing is the delivery of computing as a s
6、ervice rather than a product, whereby shared resources, software, and information are provided to computers and other devices as a metered service over a network (typically the Internet).1n 云计算（ cloud computing， 分布式计算技术 的一种，其最基本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。透
7、过这项技术，网络服务提供者可以在数秒之内，达成处理数以千万计甚至亿计的信息，达到和 “ 超级计算机 ” 同样强大效能的网络服务。 n 云计算 教科书：一种商业计算模型，它将计算任务分布在大量计算机构成的 资源池上，使用户能按需获取计算力、存储空间和信息服务n IBM白皮书： A cloud is a pool of virtualized computer resources.n NIST： Cloud computing is a model for enabling ubiquitous, convenient, on-demand network access to a shared p
8、ool of configurable computing resources (e.g., networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort or service provider interaction. n Baidu:云计算（ cloud computing）是基于互联网的服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是 虚拟化的资源 。n Google
9、认为，云计算与传统的以 PC为中心的计算不同，它 把计算和数据分布在大量的分布式计算机上 ，这使计算力和存储获得了很强的可扩展能力，并方便了用户通过多种接入方式（例如计算机、手机等）方便地接入网络获得应用和服务 .2012-3-113.云核心2012-3-11分布式实现大型分布式文件系统分布式数据处理大型分布式数据库 /结构化分布式存储虚拟化实现高性能虚拟化动态迁移 自动部署 云管理监控 安全调度3.云核心 -分布式文件系统n理想的分布式文件系统u概念：组织分布式的存储，以一个文件系统或其它统一的形式展现u目标：大容量高可扩展性：容量可以线性扩展高可靠性：单节点的失效不影响文件操作高性能：高传
10、输率、低延迟、支持各种类型的读写操作动态均衡：方便的接口： POSIX兼容的接口u现实问题难以做到高响应受网络限制较大小文件不合算2012-3-113.云核心 -分布式系统实例 GFSGFS集群由一个单个的 master和多个 chunkserver（块服务器）组成， 还有相应的 很多客户端 client。NDSL 17持续监视容错与恢复对大文件有效管理读取始终是单向顺序读取支持多路合并模式进行操作对大文件有较高性能 GFS S3 Blob存 储 (AZURE)系 统结 构 数据 块 服 务 器上的文件分 块 存储 ，有中心 结 点 桶、 对 象两 级 模式，无中心 结 点 容器、 Blob两
11、 级 模式 可 扩 展性可通 过 增加数据 块 服 务 器数量扩 展存 储 容量， 对 开 发 者透明可通 过 增加桶中 对 象数量扩 展存 储 容量， 扩 展由客户实现可通 过 增加容器中 Blob数量 扩 展存 储 容量 ,扩 展由客 户实现容 错 技 术 针对 主、从服 务 器有各自的容错 技 术 数据 监 听回 传 、 Merkle哈希 树 、数据冗余存 储 仅 重 传 出 错 的 Block（ 块）、数据冗余存 储 访问 控制 用 户 和数据 块 服 务 器 进 行交互，无特殊 访问 控制 用 户 可以从 获 得授 权 的 对象中取得数据 用 户 可以从 获 得授 权 的Blob中取
12、得数据存 储 限制 无特殊限制桶的数量和 对 象的大小有限制，但 对 象的数量无限制Blob大小有限制，但是容器和 Blob数量未限制开源 实现 HADOOP HDFS Encalyptus 无使用方式 只能通 过 GAE使用 直接使用 通 过 AZURE使用3.云核心 -分布式存储对比3.云核心 -分布式数据处理n分布式系统的数据处理、编程模型u理想： 单机程序在集群系统性能可以线性提高不编译，直接运行重新编译后，在分布式环境上并行u前提：计算本身存在较高的并行性，图像处理数据查找建立索引u方法：在不同节点上分别处理，最后进行汇总或输出细节隐藏： threads,shareddata,mut
13、exes,RPC,failure，负载均衡 .2012-3-113.云核心 -分布式数据处理 Map reducenMapReduce3.云核心 -分布式数据处理方法对比MapReduce Dryad MPI(传统 方法 )易用性 无需考虚通信、失效、一致性等到 无需考虚通信、失效、一致性等到 较 差，需考 虑逻辑 模型 较 好 好， 类 似串型模型 复 杂 ，自行 设计 并行化型灵活性 好 不 够 灵活，但可以弥 补MapReduce的一些不足 高，由程序 员 自行控制扩 展性 很高，可以 扩 展到几千个以上的 节 点 高，可 线 性 扩 展 低，最多在上百个 节点上运行案例Google与
14、HADOOP上的大量程序基于 MAPREDUCE框架由微 软 提出，正在公 测 大量的科学 计 算程序使用 MPI进 行处 理数据量 大， TB以上 大 小2012-3-113.云核心 -结构化的 分布式存储 /数据库n分布式的结构化数据存储u理想：巨型数据库 :PB级存储低延迟高吞吐高可扩展性，线性扩展支持一定的关系操作高可用性u现实问题放弃关系特性放弃传统数据库的 ACID2012-3-11nBigTable的基本架构3.云核心 -结构化的 分布式存储实例 BigTable3.云核心 -结构化的 分布式存储Google App Engine Datastore 亚马逊 SimpleDB 微
15、 软 SQL数据服 务系 统结 构 Model、 实 体 组 、 实 体三级 模式 域、条目、属性、 值 四级 模式 Authority、 容器、 实 体三级 模式存 储 的数据类 型 结 构化和半 结 构化数据 结 构化数据 结 构化数据所用的 查询语 言 GQL 支持有限的 SQL语 句 SQL 查询 限制 返回的 结 果不能超 过1000条 响 应时间 不能超 过 5秒 返回的 结 果不能超 过 500页数据更新 时间 有延 迟 ，但不是常 态 有延 迟 没有延 迟实现 的功能 较 多 最少 最多成功案例 Google自我使用，开源用户 也很多 正在 发 展，用 户 有限 正在 发 展，用 户 有限3.云核心 -虚拟化n虚拟化u虚拟化目标高性能：虚拟后的性能 1:1，线性扩展 2-1=1动态迁移动态部署u计算机系统虚拟化的方法CPU虚拟化： 经典模型：特权解除、陷入模拟 X86虚拟化方法：二进制代码动态翻译技术，半虚拟化技术，硬件辅助虚拟化技术内存虚拟化 三级地址映射：虚拟地址 特理地址 机器地址 目前的虚拟化方法：影子页表， MMU半虚拟化IO虚拟化 核心问题是 IO设备由谁控制，可以是 VMM， 操作系统 由操作系统控制 IO， 可以是虚拟机共享内存，也可以软件模
