云计算关键技术及挑战

《云计算关键技术及挑战》由会员分享，可在线阅读，更多相关《云计算关键技术及挑战（2页珍藏版）》请在金锄头文库上搜索。

1、云计算关键技术及挑战云计算是一种新的计算理念、新的资源交付方式、新的商业模式。在计算理念上它通过网络将原来由本地 主机实现的计算交给云平台来处理;在资源交付上，它提倡将网络资源、系统资源和应用等整合为服务提 供给用户;在商业模式上，它实现了资源的按需定制、按量付费。可以说，云计算的发展是需求推动、技术进 步和商业模式转变共同促进的结果，其核心是构建了一种全新的信息与数据存储、处理和服务模式。云计算作为一种新的计算理念和模式，在技术上是将大型服务器集群，包括计算服务器,存储服务器和网络带 宽资源集中起来，通过对各类可分配资源的虚拟化，利用专门软件实现对资源的按需分配，支持各种应用程序 的运行，使

2、得用户只需关注并提供业务相关的解决方案，无需在硬件平台、综合计算、安全存储、信息的一 致性等方面耗费大量的人力、物力和财力，有利于提高系统的整体效率、降低成本，促进技术创新。尽管基于云计算模式的计算平台或服务已被广泛接受并逐步走进应用，但云计算的研究总体上还处于起步 阶段,许多现有的问题还没有被完全解决。本文提出了部分具有挑战性的云计算关键技术和研究问题。1虚拟机迁移云计算通过允许虚拟机迁移实现整个数据中心负载平衡。此外，虚拟机迁移提高数据中心的健壮性和高度响 应。虚拟机迁移是由进程迁移演变而来的。最近Xen和VMWare已经实现了虚拟机的实时迁移。文献1指出 迁移整个操作系统和它的所有应用程

3、序作为一个单元可以避免进程级迁移方法要面对的许多困难，并分析 了虚拟机实时迁移的优势。虚拟机迁移的主要优势是避免热点，然而，这并不简单。目前，检测工作负载热点和启动一个迁移缺乏应对突 然的工作负载变化的灵活性。此外，虚拟机迁移时内存中的状态应当一致且高效地传输，同时还需综合考虑 应用程序和物理服务器的资源负载。2服务器整合服务器整合可以最大化资源的利用率，同时最小化能耗的有效方法。虚拟机迁移常用来整合驻留在多个很少 使用的服务器的虚拟机到一个服务器,这样剩余的服务器可以设置为节能状态。在数据中心优化整合服务器 通常是一个NP难的变种装箱优化问题。针对这个问题已经提出各种启发式方法。服务器整合不

4、应该影响应用程序的性能。众所周知，单个虚拟机资源的使用不停的在变化。对于虚拟机间共 享的服务器资源（比如带宽、内存缓存和磁盘I/O）,最大限度地整合服务器可能导致拥堵2。因此,观察虚 拟机负载的波动和使用这些信息有效的整合服务器是很重要的。最后，在资源拥塞发生时，系统必须能快速 响应。3能耗管理提高能源效率是云计算另一个主要问题。据估计，能耗成本占数据中心运营支出总额的53%。因此基础设 施提供商承受了巨大的压力减少能源消耗。目标是不仅要减少数据中心的能源成本，还要达到政府法规和环 境标准。设计节能数据中心最近受到越来越多的重视。这个问题可以从多个方向解决。例如，节能的硬件架构、减慢 CPU速

5、度和关闭部分硬件组件已成为研究者的共识。有节能感知的作业调度和服务器整合两种方式可以减 少能源消耗。最近的研究也已开始研究节能的网络协议和基础设施。一个关键的挑战是实现节省能源和应 用程序的性能之间达到一个好的平衡。在这方面，一些研究人员最近已经开始在一个动态的云环境实现性能 和能耗管理的协调解决方案3。4流量管理和分析分析数据流量对于今天的数据中心是重要的。例如，许多web应用程序依赖于分析数据流量来优化用户体 验。网络运营商还需要知道数据流量进行许多管理和规划决策。然而，把互联网服务提供商（ISP）现有的流 量测量和分析方法扩展到云计算数据中心还存在一些挑战性的问题。首先，数据中心链接的密

6、度要比ISP 高得多;其次，大多数现有的方法可以计算几百台主机的流量矩阵，但一个小型数据中心可能拥有几千台服 务器;最后，现有的方法通常基于一些ISP的流量模式，但是部署在数据中心应用程序（比如MapReduce作 业）极大的改变了流量模式。此外，在云计算中应用程序的网络使用、计算和存储资源存在更紧密的耦合。 目前，并没有很多工作在测量和分析数据中心的流量。文献4报告了数据中心流量的特征,以及使用这些 指导网络基础设施的设计。5软件框架云计算提供了进行大规模数据密集型应用程序的平台。通常这些应用程序利用MapReduce框架（如 Hadoop可伸缩的和容错数据处理）。研究表明MapReduce

7、作业的性能和资源消耗的是高度依赖应用程 序的类型。例如,Hadoop任务sort是I/O密集型，而grep则要求大量CPU资源。此外，分配在每个Hadoop 节点的VM可能是异构的。例如，一个VM可用带宽依赖于配置在同一个服务器的其他VM。因此，通过仔细 选择它的配置参数值和设计更高效的调度算法能优化MapReduce应用程序的性能和成本。通过缓解瓶颈 资源，可以将应用程序的执行时间显著提高。关键的挑战包括Hadoop的性能建模（无论是在线还是离线） 和动态条件下自适应调度。另一个相关的方法认为让MapReduce框架有节能感知5。这种方法的基本思想是将完成工作且等待新 任务的Hadoop节点

8、进入睡眠状态。这就要求Hadoop和HDFS必须由有节能感知。此外，通常会在性能 和节能感知之间进行权衡。根据目标,找到一个理想的权衡点仍是一个没有探索的研究课题。6存储技术和数据管理软件框架MapReduce和它的不同实现（Hadoop和Dryad）针对分布式处理的数据密集的任务。这些框架 通常运行在网际文件系统（比如GFS和HDFS）。这些文件系统的存储结构、访问模式和应用程序编程接口 不同于传统的分布式文件体系。特别是他们没有实现标准POSIX接口，因此引入和传统文件系统和应用程 序的兼容性问题。目前的解决方法主要包括提支持MapReduce框架使用集群文件体系（如IBM的GPFS） 方法和基于新的API原语支持可伸缩和并发数据访问等。7结束语需求推动、技术进步和商业模式转变共同促进了云计算的快速发展，其核心是构建了一种全新的信息与数据 存储、处理和服务模式。本文从云计算平台建设与管理、应用的构建等多角度总结了这种新兴计算模式存 在关键技术及难点，提出了未来云计算研究与应用中所需解决的问题。