《分布式系统开发》由会员分享，可在线阅读，更多相关《分布式系统开发（20页珍藏版）》请在金锄头文库上搜索。
1、分布式系统开发分布式系统开发实验指导书实验指导书2007 年年 9 月月目目 录录实验一实验一 熟悉目前的主流并行计算平台熟悉目前的主流并行计算平台.11.1 实验目的.121.2 实验内容.11.3 实验环境.11.4 实验指导.11.5 参考资料.9实验二实验二 机群环境下数值算法的机群环境下数值算法的 MPI 实现实现 .102.1 实验目的.102.2 实验内容.102.3 实验环境.102.4 实验指导.102.5 参考资料.15附录附录 实验大纲实验大纲.161实验一实验一 熟悉目前的主流熟悉目前的主流并行计算平台并行计算平台1.1 实验目的实验目的通过搭建一个小规模的并行计算 P
2、C 机群，熟悉主流并行计算平台上的体系结构以及部 署在其上的 MPI 并行编程环境，掌握并行程序的编写、编译、运行步骤，了解系统结构对 编程模式和环境工具的影响。1.2 实验内容实验内容本实验需要完成以下任务： 1.实际搭建一个小规模的并行计算机群； 2.在已搭建好的机群上部署 MPI 并行编程环境； 3.通过编译运行一个简单的 cpi 程序验证该 MPI 编程环境是否建立成功。1.3 实验环境实验环境硬件：微型计算机若干 软件：windows 和 linux 操作系统、MPI 并行编程环境 MPICH1.4 实验指导实验指导（一）（一） 、PC 机群硬件部件的选择机群硬件部件的选择示例配置，
3、如下： 该 PC 机群包括 1 个服务节点（兼作计算节点）和 63 个计算节点。 （1）服务节点配置：）服务节点配置： CPU：Pentium 2.0G（512KB 全速二级缓存） 内存：1G（2512M）Rambus 硬盘：80GB IDE 主板：ASUS P4T Socket 423 网卡：3com 905 TX（两个） 显卡、显示器、键盘、鼠标、光驱、软驱：略 （2）计算节点配置：）计算节点配置：2CPU：Pentium 1.5G（512KB 全速二级缓存） 内存：512MB（2256M） Rambus 硬盘：40GB IDE 主板：ASUS P4T Socket 423 网卡：3com
4、 905 TX 另外，交换设备由 2 个 3com 3c16980 和 1 个 3com 3c16985 的交换机通过一个 matrix module 堆叠而成，并安装了一个千兆光纤模块，以备服务接点连接内部机群的网卡升级为 千兆网卡。（二）（二） 、PC 机群软件环境的配置机群软件环境的配置1、OS 的选择与安装的选择与安装Linux是目前构建高性能计算机群的一个最佳的选择。在所创建的示例机群中使用的是 Redhat 9.0版本（内核2.4.28） 。安装过程中请选择“定制” ，并在“选择软件包组”时在 默认的基础上选中【服务器】【网络服务器】 （telnet-server、rsh-serv
5、er） 、 【服务器 】【服务器配置工具】 （NFS等服务器配置工具） 、 【开发】【开发工具】 （gcc等基本开 发工具） 、 【系统】【管理工具】 （图形化的系统管理工具）等软件包组。 操作系统安装完毕后，假设具有如下信息： 服务节点主机名为“node0” ，IP地址为“192.168.0.100” ；计算节点相应的主机名为 “node1.63” ，IP地址为“192.168.0.1.63” 。2、单一登录（、单一登录（Single Sign On）的构建）的构建用户可以从机群系统的任何一个节点登录，而且在整个作业执行过程中只需登录一次， 不必为将作业指派到机群中的其它节点而重新登录。这里
6、我们采用并行算法实践中所 介绍的第二种方法“构建用户管理脚本”来维护系统中用户信息的一致性，使用户不再重 复输入密码即可登录到机群中的另一个节点上。这包括以下步骤： 1.以 root 用户登录到节点 node0，修改文件/etc/hosts、/etc/host.equiv，在其中写入机 群所有节点的名称和 IP。 2.修改系统的服务设置，通过服务设置工具启动如下系统服务： nfs、rexec、rsh、rlogin。其中后面三个服务是与 Remote Shell 相关的，负责在远 程节点启动进程。 3.经过上述设置后需以普通用户身份测试 RSH 是否配置成功，运行命令如图 1 所示。 对于 ro
7、ot 用户需要经过图 2 所示的配置才可以不重新输入密码即可以通过 RSH 登 录远程节点。 4.通过图 3 所示的脚本即可以完成创建全局统一的用户信息。该脚本首先在本节点 新增用户，然后通过 RSH 将用户配置文件/etc/passwd 复制到机群中所有其余的节 点。图 3 中建立了全局用户 cluster。3图图 1图图 24图图 33、单一文件系统（、单一文件系统（Single File System）的构建）的构建NFS 是一种 Unix/Linux 之间通过网络共享文件的标准方式。使用 NFS，就能够透明的 安装和访问网络上远程主机的文件系统，将其安装（mount）在本地的文件系统中
8、，类似于 Windows 下的映射驱动器。在示例机群中，节点 node0 是服务器，把目录/home 和/cluster 进行共享；节点 node1 到 node63 是客户端，把服务器的/home 和 cluster 安装到自己的文件 系统当中。下面分别进行讨论： 1、首先在节点 node0 上建立目录/cluster，然后将该目录授权给用户 cluster。 2、可以通过如图 4 所示的服务器设置工具配置共享目录，也可以通过图 5-6 所示的直接修 改/etc/exports 文件改变目录的共享。图 6 表示将目录/home 和/cluster 以可读可写的方式共 享给 192.168.0
9、.0/24 范围（IP 从 192.168.0.1 到 192.168.0.254）内的所有机器。 3、运行命令 exportfs a 完成目录的共享。 4、客户端节点同样需要首先建立/cluster 目录，然后修改分区配置文件/etc/fstab，在其中加 入对/home 和/cluster 的映射。 5、运行命令 mount a 完成目录的共享。 6、通过图 7 中的脚本可以将该分区配置文件拷贝到机群中所有其他节点。5图图 4图图 56图图 6图图 774、并行编程环境（、并行编程环境（Parallel Programming Environment）的构建）的构建MPI（Message
10、Passing Interface）：消息传递接口 MPI 目前是最流行的分布存储并行 编程环境。MPICH 是由美国的 Argonne 国家实验室开发的基于 MPI 标准的一套开放源码 的软件包，目前最新的版本是 1.2.4。从链接 http:/www-unix.mcs.anl.gov/mpi/mpich/可以获 得更多关于 MPICH 的资料以及下载该软件包。其具体配置步骤如下： 1、首先需要结压缩安装文件包并通过 configure 脚本完成初始配置。其中-prefix 指定 /cluster/mpich 为安装目录；-with-device 指明所使用的通信系统类型为 TCP/IP 通
11、信系 统；-with-arch 指明所使用的操作系统为 Linux。 2、 完成初始配置之后即可以使用 make、make install 完成 mpich 的安装。 3、修改 mpich 的节点配置文件/cluster/mpich/shar/machines.LINUX，指明机群所包含的节点。图图 88图图 9（三）（三） 、MPICH 的的运行运行1、MPICH 中最常用的两个命令就是 mpicc 和 mpirun。 2、mpicc 是一个 MPI 编译器，它负责将源程序编译为可执行文件，它最常用的参数是-o 用 来指明输出文件。 node0# cd /Cluster/MPICH/exam
12、ples node0# ./bin/mpicc cpi.c o cpinew 3、 mpirun 则是用来执行一个编译好的 MPI 程序。下面是它最常用的一些参数： -np ：用来指明所要生成的进程数。 -machinefile ：缺省时使用的 machines 文件是前面介绍过的位于 share 目录下的 machines.LINUX；但通过这个参数可以指定一个临时的 machines 文件，从 而使用不同的进程指派方式。 4、一个标准的 mpirun 命令如下： node0# ./bin/mpirun np 10 cpinew machinefile ./new_machine_file
13、node0# ./mpirun np 10 cpi Process 1 on node1 Process 4 on node4 Process 3 on node3 Process 7 on node79Process 8 on node8 Process 9 on node9 Process 2 on node2 Process 6 on node6 Process 5 on node5 Process 0 on node0 pi is approximately 3.1416009869231249, Error is 0.0000083333333318 wall clock time = 0.0158061.5 参考资料参考资料1 陈国良等， 并行计算：结构，算法，编程 （修订版） ，北京：高教出版社，2003 3 都志辉等. 高性能计
