分布式独立内存简易集群搭建测试与应用

《分布式独立内存简易集群搭建测试与应用》由会员分享，可在线阅读，更多相关《分布式独立内存简易集群搭建测试与应用（8页珍藏版）》请在金锄头文库上搜索。

1、分布式独立内存简易集群搭建测试与应用李仕诚 韩菲 苏辉 摘要：摘要：新时期地球物理勘探事业的发展，对高性能计算给出了越来越高的要求。我们也在 不断的寻找提高计算效率的方法；本文提出一种基于 linux 系统下的小型高性能计算集群 的构建方案，能够进行软件共享，数据共享，有效解决大规模计算问题，提高计算速度并 且降低计算成本。采用 Linpack 对集群浮点运算性能进行分析测试，分别与单机下浮点运 算性能和刀片式服务器集群的浮点运算性能进行对比分析，得出结论。最后，将搭建好的 集群在地震资料处理中得到了有效的应用。关键字：高性能计算 计算效率 软件共享 数据共享 环境应用引言随着计算机的广泛应用

2、和性能的大幅度提高，计算机处理问题的规模也越来越大。尤 其在地震勘探领域中，快速处理大规模地震数据的要求与日俱增。地震勘探方法是目前使 用最为广泛、解决油气勘探问题最为有效的地球物理方法。该原理是利用人工方法引起地 壳震动，再用精密仪器按一定的观测方式记录爆炸后地面上各接收点的振动信息，通过分 析和处理这些大量数据推断地下的地质构造。该方法收集到的数据都数以 TB，海洋探测的 数据量更是数以 PB 级别。高性能计算机若在短时间内完成对这种数据量的分析，需要具 有惊人的计算能力。因此，计算机的高性能计算能力在地震勘探领域中举足轻重，提高计 算机的并行处理能力和浮点运算能力势在必行。目前，单个处理

3、器的计算性能可提升的空 间越来越小，将一组高性能计算机连接起来组成具有并行结构的高性能集群，实现高效并 行计算，是满足科学和工程计算问题中高性能数据处理要求的有效途径。计算机集群的概念：多台同构或异构的计算机用某种方式连接起来，协同完成特定 的任务就构成了集群系统，目前计算机集群技术按照使用目的可分为三类：高可用集群 （High Availabilty Cluster） 、负载均衡集群（Load Balance Cluster） 、科学计算集群（High Performance Computing Cluster） 。高可用集群，利用集群管理软件，当主服务器出现故障时， 备份服务器能够自动接管

4、主服务器的工作，并及时切换过去，以实现对用户的不间断服务； 负载均衡集群，负载压力根据某种算法合理分配到集群中的每一台计算机上，以减轻主服 务器的压力，降低对主服务器的硬件和软件要求。科学计算集群，即充分利用集群中的每 一台计算机的资源，实现复杂运算的并行处理，通常用于科学计算领域。集群所用计算机 可以是工作站，普通 PC 机、刀片式服务器或机架式服务器。针对地震资料处理的高吞吐 量、高密度数据通信等特点，本文为解决大型地震数据处理问题，选用 7 台 linuxPC 机， 构建小型高性能计算集群。一、基于 linux 简易集群搭建集群是由一组独立的计算机系统构成的一个松耦合的多处理器系统。他以

5、网络技术 将一组工作站或 PC 机连接起来，计算机之间高度紧密地协同工作。像一个单独集成的计 算资源运行一组共用的应用程序，为用户和应用程序提供类似单机系统的功能。1、系统的构建、系统的构建（1）节点节点分为管理节点与计算节点。集群中的每台计算机都是集群节点（node） 。管理节点 是高性能集群的入口，作为集群中心的“核心”领导者，控制其他计算机，管理和监控各 个节点的系统状态和网络状态，为其他计算机分配计算任务，调度负载，安装计算节点所 需软件，一般称为集群的主节点。计算节点是整个集群系统的重要组成部分，执行并行计算任务。单个计算节点 CPU 主 频越高，内存越大，总线带宽越高，对计算效率的

6、提高越有利。所以在选择硬件的架构方 式时，硬件的参数也考虑到其中。（2）存储节点存储节点也称 I/O 节点，连接到外部磁盘阵列,形成网络存储，存储大量地震数据。存 储基本模式分有 NAS(Network Attached Storage)，SUN(Storage Area Network and SAN Protocols)；NAS：被定义为一种专用数据存储服务器，磁盘阵列，和内嵌系统软件，可提供跨平 台文件共享功能，并且方便配置，有效降低总拥有成本，保护不必要的存储投资。架构方 式如图 1.SAN：存储区域网络，是一种高速网络。提供在计算机与存储系统之间的数据传输。 当前常见的可使用 SAN

7、 技术，如 IBM 的光纤存储，或者说是一种更新的光纤信道技术。 SCSI 和 ISCSI 在存储区域网络中也运用高速以太网协议，目前是两种广泛的存储区域网络 协议。架构方式如图 2，图 2 中蓝色线表示存储使用光纤网络技术连接。图（1）NAS 网络存储基本架构图（2）NAS 网络存储基本架构（3）节点间通信 集群中计算节点需要通过远程通信协议来完成任务的接受和执行，ssh 和 rsh 是目前最 为流行的两种远程通信协议。本集群建立节点无密码 ssh 访问实现节点间通信技术，为的 是让节点与节点之间是更高效的更快速紧密的进行通讯。ssh 是 secure shell 的缩写，是建 立在应用层和

8、传输层基础上的安全协议，起作用是提供安全快捷的远程管理服务。在计算 机集群中，每个节点都需要分担一定的任务，而这些任务都是有执行任务的主节点发起的。 集群网络中 MPICH 的通信，其余节点通过远程通信协议来完成任务的接收和执行，也就 是说远程通信协议主要。 （4）文件共享 集群系统需要共享各种数据文件， 并行编程环境，处理地震数据，使用常用软件和地 球物理软件。选用 NFS，将这些文件在同一个路径下共享，其他所有计算机可以对这些共 享文件运行和读写。NFS（Network File System）即网络文件系统，是一种在网络上的机器 间共享文件的方法，文件如同位客户的本地磁盘驱动器上一样。N

9、FS 构建一个单一映像系 统，如采用 NFS 将管理节点的文件系统挂载到本地文件系统中，只需在管理节点 /etc/export 文件中加入需要共享的目录，目录下安装一次所需软件，其他计算机都可共享使 用。 （5）并行编程环境 本集群并行编程环境采用消息传递接口 MPI（message passing interface） 。不同编程模型 对应不同的编程环境。MPI 是一个库，一种规范，是目前最流行的分布存储并行编程环境。 MPI 已经和 fortran 语言、C 语言、C+语言绑定，它有较高的通信性能，很好的可移植性 和强大的功能。目前 MPICH 已经发展到 2.0 版本，它包括 200 多

10、个函数，功能强大。 （6）作业管理系统 作业管理系统提供对批量作业的定义、提交、调度、执行、监控机制，有软件管理机制 和系统管理机制。系统管理机制就是 linux 操作系统的 TOP、netstat 等系统监测命令，如 地震数据处理软件 cgg 软件中的 scp 模块功能，它能从系统使用状态、使用率、I/O 等待情况、用户使用情况。从而更加有效地利用系统资源，平衡网络负载和提高系统整体性能， 最终为用户用在大型主机上。使系统或用户提交的作业以批处理的方式进行地震数据的计 算处理。在网格环境下，集群可能只是其中的一个节点网格节点之间依靠网格软件进行作 业管理。 （此处加一张图）2、集群搭建、集群

11、搭建 （1）硬件的选择硬件是整个集群系统的物理基础，硬件的选择主要取决于用户对集群的功能、性能以 及价格等因素要求。在开始安装 linux 之前，要先做的一些事情就是了解硬件环境。因为 linux 可能不支持一些较新的硬件，在 linux 早期与 X86 个人计算机系统紧密结合，而且硬 件与操作系统的关系也很大。集群有多台同构或异构的计算机用某种方式连接起来组成，同有独立式内存集群与共 享试内存集群。共享内存的多核系统的特性（消息传递接口（Message Passing Interface，MPI）使用程序可以配合 MPI 来充分发挥共享内存的多核系统的特性，MPI 主 要关注的是帮助开发在集

12、群上运行的应用程序，会带来没有必要的额外资源开销；分布式 内存系统会迫使您考虑数据分布问题，因为每一个获取远程数据的消息都会产生一个严重 的延迟。由于可以通过增加计算机(节点)的方式增加系统微处理器的数量，因此分布式内 存的系统提供了很好的可扩展性。本文采用的分布式独立内存一个管理节点与一组同构计 算机节点通过网络相连的构建方案。每个计算机都有独立的内存，并且互补占用资源，设 置 1 个管理节点，6 节点个计算节点，1 个 I/O 节点，其中管理节点和计算节点及 I/O 节点 都是同一个性能。使用的是 HP 920cn 机器。硬件性能为 CPU：intel core 2.6Ghz 内存为： 4

13、GB HDD 硬盘是 600GB 的磁盘空间。I/O 节点连接一个 NAS 盘阵，一套千兆交换机， 因为只有一块网卡，所以直接从访问层到计算层；如图 3 所示。磁盘阵列计算节点计算节点计算节点计算节点计算节点存储节点存储节点交换机管理节点图（3）计算机集群系统结构图3、软件选择、软件选择 （1）操作系统的选择 常见的操作系统有 Windows、Linux、Unix 以及 Mac OS。虽然世界 top100 的集群中确 实有 Windows 集群，但本集群选用 Linux 操作系统(Redhat Enterprise 5.4 X86_64 64 为操作 系统)，因为 Linux 系统集群具有扩

14、展性，高可用性，所以非常适合于程序开发与批量处理， 并且有一种大优点，就是对不同的硬件架构具有兼容性，无论是同构还是异构的系统都可 以用来构造集群。很多地球物理软件是 Linux 环境下开发和运行的。Linux 是一套免费使用 和自由传播的类似 UNIX 操作系统，主要用于基于 Inetl X86 系列 CPU 的计算机上。Linux 系统是由全世界各地的成千上万的程序员设计和实现的，其目的是建立不受任何商品化软 件的版权所制约的。全世界都能自由使用 UNIX 兼容产品。在性能上与商业产品相比毫不 逊色，并且价格低廉，源码开放。Linux 的版本目前有 RedHat linux 、Debian

15、 linux、Suse linux。（2）系统服务的构建： 在构建服务上我们用最原始最简易的方法来构建： 账户构建：首先将所有节点的账户共享将 etc/目录下的 passwd、group、shadow 都与主节点 同步，然后将家目录挂在到主节点上挂载，再从主节点收集所有计算节点的公 钥。 网络传输：将 ssh、rsh、dsh 等做好无密码之间传输服务做好如/etc 下的 hosts、hosts.deny 等文件。 文件传输：NFS (network file system) 进行配置从/etc 下面的 export 文件将共享目录。设置 的时候重要的是注意格式以及权限设置，都可以在 expor

16、t 文件里面写清楚。 文件挂载：（file system mount）这个过程是关键重要的，可以将其写入到开启自动启动， 如果每次开机启动的时候就会非常的繁琐。 关闭防火墙：防火墙关系到主机与访问端的连接问题，以及数据远程拷贝问题。本文中最 终涉及到的技术问题的一部分系统配置也将是在这里。 yum 包的安装：在 Linux 操作系统上，如果需要安装软件，就需要解决系统和软件之间的 软件包的依赖关系，yum 就是 Linux 系统里面的一个快速安装包的一个管理 软件。不仅功能强大，还非常的有效率，系统系统缺少安装包一步到位。二、简易集群性能测试及其应用1、MPI 软件的安装及应用软件的安装及应用 MPI 已经在 IBM PC 机上，windows 上，所有 Linux 工作站和所有主流的并行机上得 到实现。使用 MPI 作消息传递的 C 或 Fortran 并行程序可不加改变的运行在 IBM PC 、MS windows、Linux 工作站、以及各种并行机上。 MPI 是一种消息传递编程模型，并成为这种编程模型的代表。事实上，标准版 MPI 虽 然很庞大，但是它的最终目