第6章 机群计算的实现

《第6章 机群计算的实现》由会员分享，可在线阅读，更多相关《第6章 机群计算的实现（22页珍藏版）》请在金锄头文库上搜索。

1、第 6 章 机群计算的实现1机群系统一般结构-机群（cluster）系统是互相连接的多个独立计算机的集合， 这些计算机可以是单机或多处理器系统（PC、工作站或SMP）, 每个结点都有自己的存储器、 I/O 设备和操作系统。机群对用户 和应用来说是一个单一的系统，它可以提供低价高效的高性能环 境和快速可靠的服务。 机群系统包括下列组件：高性能的计算结点机（PC、工作站或SMP）。具有较强网络功能的微内核操作系统。 高效的网络/交换机（如千兆位以太网和 Myrinet）。网卡（NICs）。快速传输协议和服务。中间件层，其中包括某些支持硬件，如数字存储通道、硬件分布 共享存储器及 SMP 技术；应用

2、，如系统管理工具和电子表格； 运行系统，如软件分布共享存储器和并行文件系统；资源管理和 调度软件等。并行程序设计环境与工具，如编译器、语言环境、并行虚拟机（PVM）和消息传递接口（ MPI）等。 应用，包括串行和并行应用程序。- 2组建机群系统的需求和功能机群组建时应考虑下面的需求和功能：较高带宽的网络，以支持通信需求； 低延迟的通信机制；支持高带宽的多点传送通信方式； 自动恢复网络和结点错误的能力； 标准的低级原语，支持通信、同步和时序； 异构的远程过程调用，以隐藏体系结构、协议和系统的不同性 实时性能监视器；可靠的批处理工作调度程序； 分布应用程序开发工具； 支持传统的高级语言进行异构计算

3、； 能够开发工作站机群的应用程序； 新的系统管理工具；发展标准化，以保护软件投资。 3机群系统与其他系统的比较一个典型机群系统和其他类型系统的对比可参看下表。基本类型机群系统可以按照应用或结构进行分类1按应用目标可分为面向科学计算型或面向关键任务应用型：高性能机群(high performa nee cluster )； 高可用性机群(high availability cluster)。2按组成机群的处理机类型PC机群；工作站机群；SMP (对称多处理器)机群。3按处理机操作系统Linux 机群，如 Beowulf；Solaris 机群，如 Berkeley NOW；NT机群，女口 HPVM

4、；AIX 机群，如 IBM SP2；数字VMS (虚拟存储机)机群；HP-UX机群；微软 Wolfpack 机群。4按处理机的配置同构型机群：所有结点拥有近似的构造和相同的操作系统； 非同构型机群：所有结点拥有不同的构造和不同的操作系统。 5按处理机的位置和数量组机群，结点数量为299,通过SANs （系统级网络），如 Myri net，机群实际上装入一个机箱中或存在一个范围之内； 部门机群，结点数量为几十或几百； 企业机群，结点数量为几百。6按构筑机群的方式专用机群； 非专用机群。极高的性能价格比使专用机群深受欢迎。专用机群专用机群一般由一组同构的处理机组成（有时也有异构情 况），通常安装在

5、一个机房内，或者将主板等安装在一个机柜的 各机箱中（商业机群常用这种方式），或像图中那样简单地把PC 机堆砌在机架上（Piles of PC）。在这种机群中，每个处理机都 是专用的、无属主的，由系统管理员统一管理，用户可通过前端 机进行访问，用户无需知道机群的详情，就像使用MPP机一样， 易于配置和管理，不受外界干扰，通信可靠且延迟小，适合于面 向加速比的并行任务和面向吞吐量批处理作业。专用机群具有相 对结构和管理简单、易于扩展等特点，用途极广。专用机群的互联结构通常有以下两种方式：I/O 方式 包括普通用 LAN、FDDI、ATM 等网络连接和共 享磁盘连接两种方式。共享存储器方式 包括全局

6、共享存储器方式和分布式共享存 储器方式。分布式存储器指没有一个集中的存储器，由各处理机 内一部分存储器通过软件机制形成。-1994年夏，美国的研究人员建成了第一个Beowulf机群， 它由16个DX4处理机组成。1997年，又推出了 16个基于P II的机群，只需花费5万美元却具有每秒10亿次的浮点运算能 力，而购买具有相同能力并行机的投资数却是它的 10 倍。Berkeley的NOW系统也是较早的工作站机群，由上百个SunUltra工作站组成，集成到19英寸机箱中，可使用Myrinet、ATM和终端集中器等多种互联手段，每个结点自带512K缓存、128M内存及2个2.3G硬盘。此外，各大公司

7、推出的商业专用机群还有很多，如 DEC 的VMS 机群和 TruCluster、惠普的 Apollo 9000 机群、IBM 的 Sysplex、 Sun 的 Solaris MC 等。-在国内，曙光公司最新推出了基于NT的天潮系列机群产品， 是采用分布式存储的可扩展机群体系。其结点处理器为 Intel PII和PIII,通过千兆位以太网互联，扩展性好，结点可根据不同 的应用，动态地分为多个结点池，如可用两个结点作为服务器、 四个结点运行数据库、其他结点用于计算等，结点数量可灵活配 置。应用范围包括：-科学计算 支持PVM和MPI，使用优化的BLAS库；事务处 理 在线事务处理（OLTP）,如

8、电子商务、证券交易和在线分析 处理（OLAP）；并行数据库 支持Oracle、DB2等分布式数据 库应用；网络服务器 运行各种In ter net服务。非专用机群非专用机群是由分散互联的处理机或在网上寻找到的空闲处理机组成的机群，这些处理机可能分属于不同的个 人、组织或单位。据资料统计，一般计算机系统平均使用率仅为 30%左右，有的空闲率竟达 91%，而许多桌面网络工作站和微 机的CPU利用率都小于10%,因此，人们自然想到要利用这些 闲散的CPU处理能力，这被称为CPU周期窃取。通常，网络上计算单元都是拥有者各自孤立地使用其拥有的 计算单元，一般处于下列状态：处于空闲或等待状态，如夜间；文档

9、编辑工作，包括收发E-mail、阅读文档和信息等； 开发工作，包括编辑、编程、编译、调试等； 完成某种定时、守候服务和功能；运行计算型的程序。所谓窃取 CPU 周期就是要窃取上述前四类处理机的 CPU 周期给最后一类工作用。显然，被窃取 CPU 周期的处理机包括 空闲的处理机和CPU负载较轻的处理机两类。非专用机群地理上分布于不同的所有者，由异构系统组成， 大部分通过以太网连接，适用于企业级局域网范围，技术难度要 高于专用机群。工作站的主人与需占用工作站资源运行程序的远 程用户之间存在着矛盾，前者希望与工作站快速交互，而后者只 关心能否利用所有的共享 CPU 来快速运行程序。机器的所有者 必须

10、具有参加机群的动机，这意味着他们相信贡献他们的资源是 有意义的。但是，这些所有者不希望在他们工作时或他们的系统 过于饱和时，受到其他干扰，一个解决的策略是允许所有者退出 机群。目前，国际上正在形成一种计算资源的买卖市场，以刺激 资源拥有者加入网上机群。此外，由于当前网络通信速度和质量 的瓶颈所限及由通信竞争造成的网络不确定性的存在，对非专用 机群技术提出了更高的要求，如对进程迁移、负载平衡等技术的 需求。但此类系统最为贴近普通用户，可以充分利用网上无穷无 尽的资源，而组建投资几乎可忽略不计。可以预见，随着网络瓶 颈问题的缓解，非专用机群必然是极有发展前途的一种计算形 式。下面介绍一个非专用计算

11、的实例。Con dor 系统(http:/www .cs .wise edu/c on dor/)是一 个较典型的非专用系统，由美国 Wisconsin 大学研制，它最初 是建立在Unix系统之上的分布批处理系统。它的核心实现方式 为使用位于工作站池中的空闲资源来得到高吞吐量计算。用户可 以从工作站池 中的任何 一台机器 提交任务 ，系统将 自动从 Con dor池中查找最合适的空闲机运行任务，它利用将大型计算 任务派至远程空闲机执行的方式，把空闲处理机的 CPU 资源分配给其他用户，从而实现负载的共享。1Condor 系统的特点(1) Condor 是一个组建非专用机群的软件包，它自动寻找

12、并分配空闲工作站，使用户作业可远程执行，实现任务负载共享 机制，提高系统资源利用率，缩短作业响应时间。(2) Condor 完全在操作系统核外的用户空间实现。使用Condor 时，不需要进行特殊的程序设计。(3) 它使用集中式信息收集和任务分配机制，系统监视局域 网中工作站的负载情况，将处于空闲状态的机器加入动态资源缓 冲区中，需要 CPU 资源的用户可以申请获得空闲机器。空闲处 理机的定位由中央管理机完成。(4) Condor 通过本身的远程系统调用机制，来确保远程运 行机器上的文件系统和其他机器特征与最初提交任务的机器看 起来是一致的。(5) Condor 提供了检查点机制，用于实现进程迁

13、移、负载 平衡和容错。(6) 当任务被派至远程执行时，此任务使用的是原机器的执 行环境，Con dor保证这个任务不会使用远程机器文件系统，确 保参与处理机的系统安全。(7) 工作站的拥有者对自己的工作站拥有绝对控制权，任务 执行时实行本地用户主人优先原则，即有本地任务运行时，中止 当前的远程执行而执行本地任务。2Condor 系统工作原理机群中一台处理机被指定为中央管理机，上面运行两个守护 进程Negotiator和Collector，它们负责收集各机器负载及任 务队列信息，并负责空闲处理机的分配。其他所有机器均运行两 个守护进程Schedd和Startd。Schedd负责维护任务队列及 更

14、新中央管理机保存的任务队列信息，当本地结点有未完成的任 务时，需与中央管理机协商，以获得空闲机资源；Startd负责 周期性地检查本地结点负载状态并更新中央管理机的负载信息 表，当本地结点被指定为外来任务服务时， Startd 还负责启动 并管理该任务。另外还有一个 Shadow 进程运行在源处理机， 一个 Starter 进程运行在远程处理机中，它们负责远程任务的执 行。用户激活提交程序并提交任务，形成任务描述文件、数据结 构等，送调度信息到用户处理机上，Schedd送调度信息到位于 中央管理机上的Negotiator，接收到这个信息或调度周期性时 间来到时， Negotiator 从机群处

15、理机列表中获得各处理机信息， 包括各处理机工作负载和任务队列等。机群列表信息由 Collector 负责从各处理机的 Schedd 和 Startd 中获得并周期 性更新。获得各处理机信息后， Negotiator 首先确定各处理机的优 先权，处理机的优先权随等待排队中的任务数增加而增加，随已 提交到它的任务数和正运行的任务数（包括本地运行的）增加而 减少， Negotiator 每次从具有最高优先权的处理机开始查询， 如果该处理机有足够的启动 Shadow 的交换空间，则该处理机 把等待任务所需的OS、结构和任务大小提供给Negotiator。Negotiator选择满足要求的处理机为止，其条件包括CPU和键 盘是空闲的、满足任务标识的需求、没有其他Con dor分配的任 务正在运行等， 满足这些条件的处理机为远程服务机。Negotiator 重复这个过程，直到为所有的等待任务找到合适的 处理机或没有发现合适的处理机，然后， Negotiator 送回更新 的处理机优先权记录等信息到 Collector。Condor 的任务传输过程和执行过程由中央处理机 上 Negotiator、任务源处理机上的Schedd和Shadow、服务处 理机上的Startd和Starter进程之间协调完成，Negotiato