高性能云计算,从科学应用的角度

《高性能云计算,从科学应用的角度》由会员分享，可在线阅读，更多相关《高性能云计算,从科学应用的角度（41页珍藏版）》请在金锄头文库上搜索。

1、西安电子科技大学High-Performance Cloud Computing: A View of Scientific Applications 高性能云计算：从科学应用的角度目录引言1云的发展2Aneka3案例分析4观察与思考5结论和未来方向6摘要v 传统解决方法：高性能计算方法、安装集群和 超级计算机等基础设施 v 缺点：难以建立、维护和操作科学计算往往需要可用的数量庞大的计算机来执行大规模 实验。 云计算为科学家利用基础设施进行科学计算提供新的模式 。 v 按用量付费可动态获取计算资源、存储资源和 应用（和现有基础设施集成） v 资源在不需要时可被释放 v 这些服务可通过服务级别协

2、议（SLA）保证理 想的服务质量（QoS）摘要Aneka，一个企业云计算解决方案，通过利用私有云和公 有云的计算资源向用户提供所需的服务质量。 v 特点：灵活性、支持多种编程模式 v 支持的领域：从财务应用到科学计算本论文将给出两个Aneka的科学计算案例。v 基因表达数据分类 v 脑功能磁共振成像工作流程引言科学计算科学计算科学问题科学问题工程难题工程难题社会科学社会科学使用数学模型或 数值求解技术解 决以下问题引言这些模型需要大量的计算资源来进行大规模 实验并在一个合理的时间框架里减少计算复 杂度。计算网格引入新的功能：动态发现服务， 依靠属于不同管理域的大量资源，发现满足 应用需求的最佳

3、机器集。科学网格计算科学网格计算EGEEEGEETeraGridTeraGridThe Open The Open Science GridScience Grid引言科学网格计算的例子：引言然而科学网格也有限制性：v 政治因素：研究团体必须提交提案描述自己的 研究方式以获取在世界各地的分享，导致竞争 使用科学网格，小型项目无法获得使用权。 v 技术因素：大多数情况下，科学网格支持一个 预包装的环境，而对一些特定的工具和API的 使用会造成限制。总之，在实践中，可供科学家们选择的选项是 有限的，在应对需求上科学网格欠缺伸缩性。引言解决技术问题解决技术问题PlanetLabPlanetLab基于

4、虚拟技术基于虚拟技术用户可以被赋予一个能被虚拟机在PlanetLab 基础设施上的一些节点上访问的刀片机每个刀片机可完全按需要定制PlanetLab主要作为计算机网络和分布式系统 研究的试验台。其基础设施只能被隶属于公司 或高校的人群使用，造成计算资源的限制。由于政治因素可被忽略，技术问题成为主要难点由于政治因素可被忽略，技术问题成为主要难点引言云计算，是目前提供IT服务的新趋势，它可 以解决上述一系列问题。虚拟化技术云计算通过虚拟化 技术，为终端用户 提供一系列涵盖整 个计算堆栈的服务 ，从硬件级到应用 级，并按基础使用 量收取费用。可伸缩性可伸缩性科学家能够根据应 用需求和用户预算 来自动

5、伸缩所使用 计算基础设施的规 模大小，并从中获 益。可定制化科学家通过使用基 于云技术可以很容 易获得大型分布式 基础设施并完全定 制自己的执行环境 ，从而实现实验中 完美的设置。自由使用通过按使用量支付 方式来租用基础设 施，用户不需要进 行准备可立即立即 获得所需的资源， 也可在不用时自由 释放资源云计算 特点引言引言云计算为提供IT服务的每级计算堆栈提供灵活的机制： 从硬件级到应用级。上述方案使得有非常多的选项可供科学家选择，足以满足 他们的任何具体研究需要。硬件虚拟化硬件虚拟化软件即服务软件即服务硬件设备和应用解决方案硬件设备和应用解决方案引言云计算解决方案的热度正在快速增长，如社交网

6、络，商业 应用和信息传递网络。目前，计算科学利用云计算仍然是 有限，但实现这一目标的第一步已经完成了。 v 能源部(DOE)的国家实验室开始对科学计算的云服务的探 索。 v 2009年4月，雅虎公司宣布，他们已经扩展了在美国各大 顶尖大学的合作关系，推动云计算的研究，并进行计算科 学和工程的应用。 v 第一个用于计算科学并基于云计算的基础设施之一，科学 云，已经由芝加哥大学，伊利诺伊大学，普渡大学和马萨 理科大学共同部署。从研究观点，使用云计算进行科学计算的可行性已经被初 步研究。一些研究通过分析使用的高性能计算科学应用的 表现或科学实验在亚马逊云计算基础设施的表现来调查使 用云计算技术的好处

7、。引言不同的解决方案可从传统的科学网格移动到云计算模式中 。1亚马逊网络服务和 VMWare靠硬件级 虚拟化和按需提供 计算和存储资源来 提供服务 2谷歌AppEngine 和微软Azure更侧 重于通过实施一个 具体的应用模式来 实现应用程序级的 虚拟化，充分利用 其巨大的基础设施 和按需服务。 3其他的解决方案提 供最终用户一个云 计算应用程序的平 台，从而提供用户 一个更好的服务质 量。 引言一个用于开发应用程序的云计算平台。一个用于开发应用程序的云计算平台。特点特点1 1通过管理虚拟资源，桌面台式机和集 群的CPU周期而按需伸缩规模。特点特点2 2支持多种编程模式，为科学家表达程 序逻

8、辑提供不同选择：任务包，分布 式线程，数据流或MapReduce。特点特点3 3面向服务的架构，为用户提供了完全 可定制化的基础设施，以达到应用所 期望的QoS（服务质量）。云的发展云计算这个术语包括许多方面，范围从最终用户在使用 这项技术带来新机遇的经验到系统实现使这些机遇变成 现实。云的定义参考模型关键服务在本节中，我们将给出云计算的特征，引入云计算参考模 型，并确定这项新技术提供的关键服务。云的发展-云的定义阿布鲁斯特等认为， “云计算不仅指通过互联网的应 用程序作为服务，而且是数据中心的硬件和软件系统提 供这些服务”Buyya等给出一个更具结构化的定义，定义为“并行和 分布式的互联和虚

9、拟化的计算机的集合，是动态供应和 作为一个或多个统一的计算资源提出了基于服务水平协 议组成的系统类型”。数据中心硬件软件云的发展-云的定义v 云计算的特征的主要特点之一是同时提供基础设施和软件 作为服务的能力。 v 更确切地说，它是一种技术，旨在提供随需应变的按使用 量支付的IT资源 v 先前趋势仅限于特定的用户类，或者特定种类的IT资源云计算的目标是全球化：它提供了上述服务给各行各业， 从在因特网上拥有个人文件的终端用户到为了扩展数据中 心而外包其整个IT基础设施的企业。云的发展-云计算参考模型下图给出了一个云计算设想的方案概述。它提出了一个分 层视图，由IT基础设施、服务和应用构成云计算堆

10、栈。云的发展-云计算参考模型可供用户使用的云应用应用程序接入点为应用提供运行环境 最大限度利用物理资源为云计算 提供“马力”用户层用户级中间件层核心中间件层物理层云计算定义了四个不同的层次，从系统向最终用户逐步过 渡。云的发展-云计算参考模型物理层物理层v 物理层运行在所部署的基础设施之上的物理资源的集合。 这些物理资源包括不同的种类：集群，数据中心和备用台 式机。 v 支持商业云部署的基础设施大多数由数据中心组成，这些 数据中心集合了成千上百的机器。 v 私有云提供了一个更异构的环境，在这种环境中，备用台 式机的闲置CPU循环会被使用以平衡计算工作量。 v 物理层在云中提供“马力”。核心中间

11、件层核心中间件层v 物理基础设施由核心中间件管理，它的目的在于为应用程 序提供一个良好的运行环境并最大限度的利用物理资源。云的发展-云计算参考模型v 为了提供更优质的服务，如应用程序隔离、服务质量和沙 箱，核心中间件可依赖于虚拟化技术。 v 在虚拟化技术的不同解决方案中，硬件级虚拟化和编程语 言级虚拟化是最流行的。 v 硬件及虚拟化使用虚拟机的方法保证了应用程序的完全隔 离和物理资源的良好分割，如内存和CPU。 v 编程语言级虚拟化提供了沙箱和应用程序的托管执行，这 些应用程序是由特定的技术或编程语言开发的（如Java ，.NET和Python）。 v 在此基础上，核心中间件提供了一系列广泛的

12、服务，支持 服务提供商为终端用户提供专业的和商业的服务 v 这些服务包括服务质量的协商，接入控制，运行管理和监 督、计费和支付。 v 核心中间件和物理基础设施共同组成了一个平台，使得部 署在云中的应用程序在其之上运行。 v 很少有用户级程序直接访问这一层。云的发展-云计算参考模型用户级中间件层用户级中间件层v 常见的是，核心中间件所提供的服务通常通过一个用户级 中间件来访问。 v 它提供了环境和工具来简化云应用程序的开发和部署。 v 这些中间件是：Web 2.0接口，命令行工具，库和编程语 言。 v 用户级中间件构成了到云端的应用程序接入点。用户层用户层v 云应用程序：如社会计算，企业，ISV

13、，科学，CDN云的发展-云计算服务云计算提供给终端用户，科学机构和企业的服务可分为三 大类： 云计算云计算服务SaaSSaaSIaaSIaaSPaaSPaaS云的发展-云计算服务云的发展-云计算服务IaaSIaaS基础设施即服务基础设施即服务1 1术语基础设施即服务或硬件即服务（HaaS）指的是基 于虚拟化或物理资源的基础设施向商品一样提供给消 费者。 v 这些资源满足终端用户对内存，CPU类型和动力，存储和 操作系统的要求。 v 用户使用按使用量收费并在这些资源的基础上启动自己的 系统。而这些资源由供应商所提供的数据中心托管。 v 亚马逊公司是一个提供IaaS服务的提供商之一，EC2提供 了

14、一个大的基础设施和基于硬件虚拟化的服务。 v 亚马逊还通过亚马逊简单存储服务（S3）提供存储服务 ，用户可以使用Amazon S3访问来自任何地方接入的大 量数据云的发展-云计算服务PaaSPaaS平台即服务平台即服务2 2平台即服务解决方案提供一个应用程序或开发平台， 用户可以开发自己的应用程序在云端运行。 v 提供了一个应用程序框架和一组API，可被开发人员用来 编程或组成云端的应用程序。 v PaaS解决方案通常作为一个综合系统交付，同时提供一 个开发平台和应用程序在其之上运行的IT基础设施。 v 谷歌AppEngine，一个用于开发可伸缩的Web应用平台 v 微软Azure，一个云服务

15、操作系统的平台SaaSSaaS软件即服务软件即服务3 3云的发展-云计算服务软件即服务解决方案在云计算堆栈的顶端，提供给终端 用户集成的服务，包括硬件，开发平台和应用程序。 v 用户不能定制服务，但可以访问云端特定的应用程序。 v Aneka是Manjrasoft的产品，是一个纯粹的软件即服务 ，并提供终端用户和开发者在云端使用.NET技术开发分 布式应用程序的一个平台技术。 v 软件即服务实现的历史是谷歌提供的办公自动化，如谷歌 文档和谷歌日历，免费提供给因特网用户，而且是专业优 质的服务。ANEKA1Aneka是一个软件平台和 在云端开发分布式应用程 序的框架。按需利用计算资源 提供丰富的

16、API 提供监测和部署工具 私有云访问受限2灵活且面向服务设计的 Aneka及其它完全可定制 的体系结构使Aneka云能 够支持不同的方案。3Aneka云可建立在不同的 物理基础设施之上，与其 他云计算解决方案集成， 如亚马逊EC2，以按需扩 展它们的能力。ANEKA云计算结构云计算结构ANEKA-架构FabricFabric 服务服务可以通过平台抽象层（PAL）直接访问某 一节点，并且可以分析硬件性能和动态配 置资源。基础基础 服务服务标志着Aneka基础设施的核心系统，它们 提供了一系列基本特征集，在其之上每个 Aneka容器可以执行具体的任务集。执行执行 服务服务Aneka能够通过不同的编程模型来实现多 种分布式应用程序，执行服务主要提供实 现这些模型的中间件。此外，还有持久性和安全性也被托管于容器此外，还有持久性和安全性也被托管于容器ANEKA-架构容器的网络可以使用不同的部署方案。容器的网络可以使用不同的部署方案。整个Aneka云 可以托管在公 共云，如亚马 逊EC2或桉树 管理的私人数 据中心完全由相同管 理域的物理机 （台式机和集 群）构成的私 有云