《《多计算机系统 》PPT课件》由会员分享，可在线阅读，更多相关《《多计算机系统 》PPT课件（54页珍藏版）》请在金锄头文库上搜索。
1、第八章 多计算机系统8.1 集群计算机系统结构集群计算机系统结构8.2 典型集群系统实例典型集群系统实例8.3 MPP系统系统8.4 网格技术网格技术8.5 网格实例网格实例第一节 集群计算机系统结构集群系统就是多个独立计算机的集合。集群系统就是多个独立计算机的集合。 本节将从集群系统的基本概念开始，对集群系本节将从集群系统的基本概念开始，对集群系统的结构、集群系统的特点、集群间通信、集统的结构、集群系统的特点、集群间通信、集群间资源管理和任务调度以及集群间并行程序群间资源管理和任务调度以及集群间并行程序设计环境等问题分别进行介绍设计环境等问题分别进行介绍1. 集群系统的基本概念和结构集群系统
2、的基本概念和结构集群系统由将多个高性能的工作站或高集群系统由将多个高性能的工作站或高档微型计算机，使用高性能网络互连在档微型计算机，使用高性能网络互连在一起，协同完成特定的并行任务一起，协同完成特定的并行任务.它是一种造价低廉、易于构建且具有较它是一种造价低廉、易于构建且具有较好可扩放性的体系结构。集群系统中的好可扩放性的体系结构。集群系统中的主机和网络可以是同构的，也可以是异主机和网络可以是同构的，也可以是异构的。下图为一个包含四节点的集群系构的。下图为一个包含四节点的集群系统统构成集群的每台计算机都被称为一个结点。每个结点构成集群的每台计算机都被称为一个结点。每个结点都是一个完整的系统，拥
3、有本地磁盘和自己的完整的都是一个完整的系统，拥有本地磁盘和自己的完整的操作系统。除了操作系统。除了PC外，集群的结点还可以是工作站，外，集群的结点还可以是工作站，甚至是规模较大的对称多处理机。甚至是规模较大的对称多处理机。集群的每个结点一般通过商品化网络连接在一起，如以集群的每个结点一般通过商品化网络连接在一起，如以太网、太网、FDDI、Myrinet等，部分商用集群也采用专用网等，部分商用集群也采用专用网络连接，如络连接，如SP Switch，Crossbar等。网络接口与结点等。网络接口与结点I/O总线以松散耦合的方式相连，如图中的总线以松散耦合的方式相连，如图中的NIC与与PCI。从结构
4、上看，集群系统属于分布存储系统，由从结构上看，集群系统属于分布存储系统，由建立在通用操作系统之上的并行编程环境完成建立在通用操作系统之上的并行编程环境完成系统的资源管理及相互协作，同时也屏蔽工作系统的资源管理及相互协作，同时也屏蔽工作站和网络的异构性。对程序员和用户来说，集站和网络的异构性。对程序员和用户来说，集群系统是一个整体的并行系统。集群系统中的群系统是一个整体的并行系统。集群系统中的结点机间采用消息传递方式通信。结点机间采用消息传递方式通信。2. 集群系统的特点集群系统的特点与传统并行计算机系统相比，集群系统与传统并行计算机系统相比，集群系统具有许多优点：具有许多优点：系统开发周期短系
5、统开发周期短可靠性高可靠性高可扩缩性强可扩缩性强性价比高性价比高用户编程方便用户编程方便集群不足之处：集群不足之处：由于集群由多台完整的计算机组成，它的维护由于集群由多台完整的计算机组成，它的维护相当于要同时管理多个计算机系统，因此维护相当于要同时管理多个计算机系统，因此维护工作量较大，维护费用也较高。对称多处理机工作量较大，维护费用也较高。对称多处理机则相对较好，因为管理员只要维护一个计算机则相对较好，因为管理员只要维护一个计算机系统即可。正因为如此，现在很多集群采用对系统即可。正因为如此，现在很多集群采用对称多处理机作为结点，这样可以减少结点数量，称多处理机作为结点，这样可以减少结点数量，
6、从而减少维护工作量和降低开支。从而减少维护工作量和降低开支。3. 集群系统的通信技术集群系统的通信技术(1)现有集群一般是使用商用以太网连接，通信现有集群一般是使用商用以太网连接，通信协议使用的协议使用的TCP/IP.集群通信具有以下缺点：集群通信具有以下缺点：网络通信频宽低网络通信频宽低多层结构的多层结构的TCP/ICP协议处理开销大协议处理开销大协议复杂的缓冲管理增加了网络延迟协议复杂的缓冲管理增加了网络延迟操作系统的额外开销操作系统的额外开销(2) 提高集群通信效率的方法提高集群通信效率的方法采用新型高速网络以提高网络通信频宽采用新型高速网络以提高网络通信频宽目前出现了多种新型的高速网络
7、，如共享介质目前出现了多种新型的高速网络，如共享介质型的快速以太网和基于开关型的型的快速以太网和基于开关型的ATM和和Myrinet，极大地提高了通信频宽。，极大地提高了通信频宽。设计新的通信协议以降低通信延迟设计新的通信协议以降低通信延迟在用户空间实现通信协议在用户空间实现通信协议:直接对网络硬件直接对网络硬件设备进行必要的操作，减少通信数据的拷贝次设备进行必要的操作，减少通信数据的拷贝次数，提高通信效率；二是减少对操作系统调用数，提高通信效率；二是减少对操作系统调用的额外时间开销；三是用户态协议可根据用户的额外时间开销；三是用户态协议可根据用户的实际应用需求来设计，减少协议不必要的冗的实际
8、应用需求来设计，减少协议不必要的冗余。余。 精简通信协议。第一方面是功能的精简，删除精简通信协议。第一方面是功能的精简，删除不必要的功能呢，第二方面是协议层次的精简，不必要的功能呢，第二方面是协议层次的精简，合并协议各层的功能呢，使得通信协议变为一合并协议各层的功能呢，使得通信协议变为一层，以达到减少数据传输次数的目的。层，以达到减少数据传输次数的目的。Active Message通信机制通信机制Active Message是消息驱动的异步通信方式。是消息驱动的异步通信方式。Active Message的通信原理如下：的通信原理如下：消息除包含通常的数据项外，还增加了两项：消息除包含通常的数据
9、项外，还增加了两项：消息处理程序指针消息处理程序指针Handler和参数。当消息达和参数。当消息达到目的结点时，结点处理机立即产生中断调用，到目的结点时，结点处理机立即产生中断调用，由该消息的由该消息的Handler启动相应的消息处理程序。启动相应的消息处理程序。消息处理程序的功能是从网卡上取出该消息并消息处理程序的功能是从网卡上取出该消息并给发送方发送一个应答消息，然后返回原来被给发送方发送一个应答消息，然后返回原来被中断的程序。中断的程序。 Active Message通信机制有两个突出特点：一通信机制有两个突出特点：一是消息驱动的异步通信方式，二是简化了对通是消息驱动的异步通信方式，二是
10、简化了对通信数据的缓冲管理。信数据的缓冲管理。4. 集群系统资源管理和调度集群系统资源管理和调度集群操作系统集群操作系统是在各结点的操作系统之上再构建一层操作系是在各结点的操作系统之上再构建一层操作系统来管理整个集群，即建立一个全局统来管理整个集群，即建立一个全局UNIX，用来解决集群系统中所有资源管理，包括组调用来解决集群系统中所有资源管理，包括组调度、资源分配和并行文件系统等。这就是集群度、资源分配和并行文件系统等。这就是集群操作系统。集群操作系统须具有以下特性：操作系统。集群操作系统须具有以下特性：单一系统映像（单一系统映像（Single System Image，SSI）1.单一入口点
11、：用户连接到集群而不是某个具体结点；单一入口点：用户连接到集群而不是某个具体结点；2.单一文件系统：用户看到单个目录和文件层次；单一文件系统：用户看到单个目录和文件层次；3.单一作业管理系统：用户可以透明地从任一结点提单一作业管理系统：用户可以透明地从任一结点提交作业，作业能在整个集群系统中透明地竞争资源。交作业，作业能在整个集群系统中透明地竞争资源。4.单控制点：用户可以从控制工作站单点控制管理整单控制点：用户可以从控制工作站单点控制管理整个系统，实现系统的安装、监督和配置、系统操作、个系统，实现系统的安装、监督和配置、系统操作、用户管理等功能。用户管理等功能。负载均衡负载均衡负载平衡就是将
12、各个任务均衡得分布到集群系统的负载平衡就是将各个任务均衡得分布到集群系统的各处理结点，以充分利用系统资源，提高各结点的各处理结点，以充分利用系统资源，提高各结点的利用率和整个系统的吞吐率利用率和整个系统的吞吐率。衡量负载平衡的指标衡量负载平衡的指标吞吐率吞吐率:系统上运行的应用程序的响应时间或平均系统上运行的应用程序的响应时间或平均完成时间。完成时间。可扩展性可扩展性:系统规模增大或总负载大小变化时系系统规模增大或总负载大小变化时系统负载平衡的适应能力。统负载平衡的适应能力。容错性容错性:处理机发生故障后任务恢复运行的能力。处理机发生故障后任务恢复运行的能力。实现负载均衡的任务调度算法实现负载
13、均衡的任务调度算法静态调度：在编译时根据用户程序中的各种静态调度：在编译时根据用户程序中的各种信息（如各个任务的计算量大小、依赖关系和信息（如各个任务的计算量大小、依赖关系和通信关系等）和并行系统的状况（如网络结构、通信关系等）和并行系统的状况（如网络结构、各处理结点计算能力等）对用户程序中的并行各处理结点计算能力等）对用户程序中的并行任务作出静态的分配策略任务作出静态的分配策略 动态调度方法：通过分析并行系统的实时负载动态调度方法：通过分析并行系统的实时负载信息，动态地将任务在各处理机之间进行分配信息，动态地将任务在各处理机之间进行分配和调度，以消除系统中负载分布的不均衡和调度，以消除系统中
14、负载分布的不均衡静态调度在高度并行环境下不够均衡不准确，静态调度在高度并行环境下不够均衡不准确，造成资源利用不足造成资源利用不足动态调度会给集群带来额外的计算开销动态调度会给集群带来额外的计算开销5. 集群系统并行程序设计环境集群系统并行程序设计环境（1）PVM(Parallel Virtual Machine,并行虚拟机并行虚拟机)它允许将网络上基于它允许将网络上基于UNIX操作系统的并行机和操作系统的并行机和单处理机的集合当成一台单处理机的集合当成一台“并行虚拟机并行虚拟机”来使用。来使用。PVM支持多种体系结构的计算机、工作站等，给支持多种体系结构的计算机、工作站等，给用户提供一个功能强
15、大的分布式计算机系统用户提供一个功能强大的分布式计算机系统.具具有以下特点：有以下特点：PVM系统支持多用户及多任务运行，多个用户系统支持多用户及多任务运行，多个用户可将系统配置成相互重叠的虚拟机，每个用户可将系统配置成相互重叠的虚拟机，每个用户可以同时执行多个应用程序。可以同时执行多个应用程序。系统提供一组便于使用的通信原语，可以实现系统提供一组便于使用的通信原语，可以实现一个任务向其它任务发消息、向多个任务发消一个任务向其它任务发消息、向多个任务发消息，以及阻塞和非阻塞收发消息等功能，用户息，以及阻塞和非阻塞收发消息等功能，用户编程与网络接口分离。系统还实现了通信缓冲编程与网络接口分离。系
16、统还实现了通信缓冲区的动态管理机制。区的动态管理机制。PVM支持进程组，可以把一些进程组组成一个支持进程组，可以把一些进程组组成一个组，一个进程可属于多个进程组，而且可以在组，一个进程可属于多个进程组，而且可以在执行时动态变改变。执行时动态变改变。支持异构计算机联网构成并行虚拟计算机系统。支持异构计算机联网构成并行虚拟计算机系统。具有容错功能。当一个节点出现故障时，具有容错功能。当一个节点出现故障时，PVM会自动将其从虚拟机中删除。会自动将其从虚拟机中删除。（2）MPI（Message Passing Interface，消息传，消息传递接口）递接口）它是目前最重要的一个基于消息传递的并行编它是目前最重要的一个基于消息传递的并行编程工具。它具有移植性好、功能强大和效率高程工具。它具有移植性好、功能强大和效率高等优点，几乎所有的并行计算机厂商都提供对等优点，几乎所有的并行计算机厂商都提供对它的支持，成为事实上的并行编程标准。它的支持，成为事实上的并行编程标准。MPI具有以下特点：具有以下特点：MPI提供了缓冲区管理的函数，用户可以决定提供了缓冲区管理的函数，用户可以决定是完全由系统对发送
