高性能网格并行计算论文p8

《高性能网格并行计算论文p8》由会员分享，可在线阅读，更多相关《高性能网格并行计算论文p8（8页珍藏版）》请在金锄头文库上搜索。

1、高性能网格并行计算高性能网格并行计算摘 要 ：对高性能计算的各种方式进行了分析和比较，并阐述了网格和元计算的关系。通 过对当前各种网格工程的透视，论述了网格体系结构和网格服务语义。探讨了网格的两个 关键特点：异构性和动态性及其解决方法。对于认识网格概念以及指明未来高性能并行计 算发展方向有一定意义。关键词：网格；高性能计算；开放网格服务体系结构； 异构性1 高性能计算的各种形式高性能计算的各种形式1.11.1 分布式计算分布式计算所谓分布式计算是指在分布式计算机系统上的程序设计 和实现。而分布式系统又是指 由多个地理上分散的计算机经 互联网连接而成的系统，它是多计算机系统的一种形式，强 调资源

2、、任务、功能和控制的全面分布。就物理资源而言， 包括处理机、输入输出设备、 通信接口和辅助存储器等。就 逻辑资源而言，包括进程、任务、文件、表格和数据库等。 早期分布式计算的侧重点是分布资源的共享利用，以便减少 购买昂贵设备( )如激光图形打 印机 的开销。由于分布式计算 系统中有多个处理结点，因此应用任务在各个结点上的负 载 平衡也是分布式计算追求的目标。分布式计算主要是支持具 有地理分布特征的应用项 目，如飞机售票系统、银行通存通 兑系统等。而且还能利用分布资源实现容错功能，但计 算任 务的高性能不是它刻意追求的目标。 1.21.2 并行计算并行计算并行计算简单地说，就是在并行计算机上所做

3、的计算， 它和常说的高性能计算、超级 计算是同义词。并行计算的物 质基础是高性能并行计算机，如单指令多数据流机 、SIMD 并行向量处理机 PVP、对称多处理机 SMP、大规模并行处理 机 MPP、工作站机群 COW， 也包括分布网络计算机等。任 何超级计算都离不开使用并行技术，从理论上讲，没有因果 关系( )或依赖关系 的两个事件可以并发执行。直觉上，则是 指两个事件同时执行。开发 并行性的途径有 3 种，即时间共 享、空间共享和资源重复。如流水线计算机是通过时间共 享，让多个部件在时间上交错重叠地执行运算和处理；阵列 处理机利用的是资源重复。由 于业已提供的计算能力总是满 足不了人类对计算

4、能力的需求，而且这种需求是无止境的， 因此并行计算的宗旨是追求高性能，有时甚至不惜代价去达 到这样的目标。另外，并行计 算理论还不成熟，尚没有成为 主流计算技术，许多问题有待解决。 1.31.3 异构计算异构计算自 Freund 首先提出优化选择理论之后1，异构计算便成 为近年并行处理研究的新台 阶。 IEEE 每年组织召开一次 HCW(heterogeneous computing workshop)。所谓异构计算， 是指将性能、属性各异的计算机(如 PC、工作站群、向量机 等)，通过高速网络连成并行计 算环境，充分利用程序和体 系结构的异构性，各尽潜能，合理分治，协同完成一个计算 任务，使

5、得完成时间最少的过程。形象地说，异构计算如同 交响乐团演奏一首乐曲，各种 乐器协同弹奏，产生最美妙的 乐感。据报道，许多超级计算机的峰值性能只发挥了 ，5% 原因是程序特征和体系结构不匹配。异构计算追求的目标正 是充分挖掘程序和机器潜在的 特征，并且让这两种特征匹 配，从而大大提高任务的执行效率。 1.41.4 元计算元计算元计算概念是伴随着 LAN 向 WAN、 Internet 的发展过程 中提出来的。要回答什么是 元计算，先要搞清楚什么是元系 统、元计算环境等概念。一般来讲，具有存在的主要任务 和 根本目标的任何形式的集体均可算是一个元系统。广义上 讲，元系统是一个异构系统， 这个系统通

6、过某种网络将各个 构件无缝地结合在一起，每个构件有自己的分工，完成一种 特定的任务。整个系统将所有构件协调起来完成一个总体目 标，并对外表现为单一的整体， 且构件对外是不可见的。如 果为了计算目的而组建的元系统，则称之为元计算环境。在 元计算环境中开展的程序设计和程序运行，则被称为元计 算。如果将元计算环境引入到广 域网范围内，使得广域网上 的空闲计算机资源集成和共享起来，对那些亟需科学计算的 用户提供统一界面的服务，而不必关心用户提交的任务是如 何划分的，在何种机器上运行， 结果如何收集等，这就是元 计算追求的目标 1.51.5 网格计算网格计算网格计算是在元计算的基础上发展起来的，是 In

7、ternet 应用的新发展，是在巨型机与 互联网技术的基础上推出的一 项新变革，是完成超级计算任务的一种新模式，又称为虚拟 计算环境，或全球计算统一平台。网格试图实现互联网上所 有资源的全面连通和共享，包 括计算资源、存储资源、通信 资源、软件资源、信息资源等。网格计算需要使用一套能够 把一个应用程序划分成能在上千个计算机上执行的软件和机 制，感觉上如同个人使用一台 超级计算机一样。从学术上 讲，网格是分布计算的一种形态。网格追求的目标来源于人 们对“电力网”的类比理解，人们希望从网格中获取“计算 或服务” ，就像家电用插头从 电力网中获得“电能”一样方 便和普及。2 著名的网格工程著名的网格

8、工程2.12.1 GlobusGlobus 工程工程Globus 是美国 Argonne 国家实验室的研发项目，全美有 12 所大学和研究机构参与了 该工程。 Globus 对资源管理、安 全、信息服务及数据管理等网格计算的关键理论进行研 究， 开发了能在各种平台上运行的网格计算工具软件。 工 Globus 程的目标是阐明网格 化应用的需求和开发必要的技术来满足 这些需求。 Globus 系统的主要部分是 Globus 元计 算工具软 件，提供了实现高层服务需使用的底层机制。 Globus 最重要的成果是 Globus Toolkits ，它是开放代 码， 第 1 版在 1999 年推出 ,目

9、前可得到的版本是 。Release 2.2 另外，基于 OGSA 机制的下一代 Globus Toolkits 3.0 即将推 出。 Globus 技术已在 NASA 网 格(NASA IPG)、欧洲数据网格 (Data Grid)、美国国家技术网格(NTG)等 10 多个网格工程中 得到了广泛应用。 2.22.2 LegionLegion 工程工程Legion 工程是基于对象的元系统软件2。它始于 1993 年， 由 Virginia 大学的课题研 究组开发。 Legion 工程的目标 是在一定的原则下构建高可用的、有效的、可扩展的系统。Legion 工程研究的关键问题是可扩展性、易编程性、

10、容错和 安全等。它支持应用代码级 的大规模并行计算，以及物理系 统复杂性的管理。 Legion 工程开发了一个丰富的对象模 型来 提供元计算服务，它提供了一个编程工具集、一个人机交互 的环境，以及一个应用 程序请求元计算的执行环境。在一个 Legion 应用程序里，分布的构件被看作对象。2.32.3 CondorCondor 工程工程Condor 工程 于 20 世 纪 80 年代中期开始于 Wisconsin Madison ,大学是具体实现元 计算含义的最初的平台之一2。 一个 Condor 机群由局域网互联的同构的工作站组成。 Condor 主要思想是认为并不是所有时刻、所有工作站都是忙

11、碌的。 因此，在空闲机器上 的 CPU 周期可以用来处理其它待执行的 任务。 Condor 网格包含一台作为中央资源管理器 的机器，它 负责把任务分配到其它空闲的 Condor 结点上。所有其它的 Condor 结点运行 两个守护进程，一个负责与中央资源管理器 协商，并把本地任务迁移到其它机群上；另一 个负责当该结 点空闲时通知中央资源管理器。 2.42.4 NinfNinf 工程和工程和 NetsolveNetsolve 工程工程Ninf 工程始于 1995 年，由日本开发，旨在构造一个强大 的 、 灵 活 的 网 络 使 能 服 务 (NES) 系 统 。 Netsolve 是 由 Inn

12、ovative Computing Laboratory 开发的基于 RPC /的客户机 代 理/服务器系统2。 Ninf 工程和 Netsolve 工程都以科学计算应 用为目的， 它们链接有著名的数学库，如 ScaLAPACK. Ninf 和 Netsolve 使用一系列 RPC 函数调用的作 为编程接口，用来 取代传统的库函数，通过极少量的代码修改和重新编译，应 用程序使 用这些系统是可能的。这两个系统非常相似，所以 开发了一个“桥” ，用来转换两系统间 的内部数据格式，就 能使用彼此的资源。近来，两个系统能够与其它的元计算环 境接合，如 和 Globus Condor 系统。 Ninf

13、和 Netsolve 的不足是 被局限在数学应用上。3 网格体系结构网格体系结构描述网格体系结构的目的不是提供对所需的协议和服务 进行完整罗列，而是阐明各组 成部分的需求和关联。一般用 “沙漏模型”来描述网格的层次结构，如图 1，两头大中间 小，最上层是应用服务，最下层是各种网格资源，中间层是 网格资源管理核心件。同时， 每层的组成和功能可以利用其 任意下层的能力和行为来构建。并且如图 1 所示的结构抽象 层次很高，在设计和实现上几乎没作什么限制。 图 1 Globus 协议结构及与互联网协议的关系构造层是物理或逻辑实体，它实现本地的具体资源的构造层是物理或逻辑实体，它实 现本地的具体资源的操

14、 作。连接层定义网格中网络事务的通信与认证控制的核心协 议， 构造层提交的各种资源间的数据交换都在这一层的控制 下实现，各资源间的认证、安全控 制也在这里实现。资源层 的作用是对单个资源实施控制，资源和连接层形成了“沙漏 模 型”的瓶颈。汇集层的作用是将资源层提交的受控资源汇 集在一起，供虚拟组织3的应 用程序共享、调用。应用层是 网格上用户的应用程序。应用程序通过各层的 API 调用相应 的服务，再通过服务调用网格上的资源来完成任务。 4 网格异构性及其解决方法网格异构性及其解决方法从哲学的角度来说，同构是相对的，异构是绝对的4。 基于 Internet 的信息系统无处 不存在异构性，主要体

15、现在以 下方面：计算机硬件平台的异构性，网格中进行计算的服务 器可以是大型机、小型机、工作站或 PC. 这些机器在计算机 体系结构和指令系统上的都存 在异构性。基础操作系统的异 构 性 ， 网 格 上 计 算 机 的 基 础 操 作 系 统 可 以 是 、Unix Windows NT、 Mac 等。操作系统之间的文件系统、命名规 则、文件类型、 操作命令的解析和执行、进程之间的通信机 制不可能相同。数据库的异构性，网格中可以 有一个或多个 数据库系统。最流行的是关系型数据库系统， 如 、Oracle Sybase、 SQL Server 等。也可采用由不同数据模型的数据 库，如关系、模式、层

16、次、网络、面向对象型 数据库共同组成一个异构数据库系统。此外，还有通信网络、应用程序、信息本身的异构 性。下面是异构性的一些解决办法： (1)制定统一的规范、 协议，通过制定统一的规范和 接口，使网格中的服务标准 化，用户访问网格中的共享资源都遵循统一的协议，调用标 准的接口来获得所需要的服务。如在网格系统中，可利用 Web 服务描述语言(WSDL)来描 述所有的资源，屏蔽资源的 异构性。 (2)采用转换机制和代理，在网格系统中，由于硬 件、操作系统、体系结构、数据库等众多资源的异构性，用 户在请求利用这些异构资源时， 必须对分配到这些异构资源 上的服务请求进行合理的转换。采用代理的方法是一种行之 有效的转换机制。 (3)采用虚拟机(VM)技术（这也是隐藏异 构性的一种方法） ，用户通过 虚拟机提供的标准接口访问异 构资源，而标准接口的具体实现由各异构资源提供者负责落 实，因此用户感觉不到请求的资源的异构性。 和 Java VM PVM 是比较成功的采用虚拟机技 术实现跨平台、屏蔽异