《曙光集群管理使用书册V1.1(精品)》由会员分享，可在线阅读，更多相关《曙光集群管理使用书册V1.1(精品)（15页珍藏版）》请在金锄头文库上搜索。
1、曙光高性能集群使用手册2010-3-20目录一、曙光高性能集群概况2二、用户管理42.1.添加用户42.2.删除用户42.3.系统自动同步用户信息42.4.设置用户磁盘配额4三、作业调度管理63.1.队列管理63.2.用户权限控制73.3.作业记账功能8四、软件使用94.1.编译器94.2.数学库94.3.MPI并行库104.4.VASP114.5.WIEN2K134.6.ABINIT15一、 曙光高性能集群概况曙光高性能集群共有40台CB-85刀片计算节点，1台登录管理节点，一套磁盘整列提供存储。提供3套互联网络：千兆管理网用于集群管理和用户登录；千兆计算网作为辅助计算网络也兼作管理网；In
2、finiBand高速计算网用于并行程序通信，也负责为整个集群提供NFS文件共享服务。集群主机名和各网络的IP地址对应如下：主机名千兆管理网千兆计算网InfiniBand高速网登录管理节点node41192.168.0.4111.11.11.4110.10.10.41计算节点node1192.168.0.111.11.11.110.10.10.1node2192.168.0.211.11.11.210.10.10.2node40192.168.0.4011.11.11.4010.10.10.40每台CB-85刀片计算节点配有4颗AMD Opteron 8374HE 2.2 GHz 四核处理器，总
3、共16个CPU核心，内存大小为32 GB。操作系统为SuSE Linux Enterprise Server 10 SP2。磁盘阵列提供两个6.3 TB大小的存储空间，分别映射到登录管理节点node41的/home1和/home2目录，用于存放公用程序和用户数据，这两个目录作为NFS共享目录，通过InfiniBand高速网共享给整个集群。登录管理节点node41的所网IP地址为：159.226.37.85。Windows客户端可以用SSHSecureShellClient，PuTTY，SecureCRT，Xshell等SSH软件登录，Linux客户端直接在终端命令行执行：$ ssh usern
4、ame159.226.37.85注：159.226.37.85之前为IBM机器IP，如果登录时出现类似以下提示： WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!.可以将将本地“/.ssh/known_hosts”文件清空后再登录：$ echo /.ssh/known_hosts$ ssh username159.226.37.85非root用户也可以通过telnet登录：$ telnet 159.226.37.85另外，用户也可以通过WE
5、B方式登入曙光GridView集群管理系统，对集群进行管理、监控、和使用。在WEB浏览器的地址栏中输入以下URL即可出现登录界面：http:/159.226.37.85:8080/gridview_portal登入后，如果部分图表显示不正常，请为浏览器安装FLASH插件。二、 用户管理2.1. 添加用户添加用户需要使用root账户在登录管理节点node41上进行，分以下几个步骤：(1). 在node41上添加用户和设定密码，用户主目录指定在 /home1或 /home2下，这样才能共享给其它计算节点：$ useradd -m -d /home1/username username$ passw
6、d username(2). 将node41的用户信息文件“/etc/passwd, /etc/shadow, /etc/group”同步到所有计算节点，可以使用以下命令：$ setup_cluster -sync_user2.2. 删除用户注意：如果加上“-r”参数，将删除用户的主目录，请谨慎$ userdel -r username$ setup_cluster -sync_user2.3. 系统自动同步用户信息每次添加或删除用户，更改用户密码后，可以选择手动同步用户信息到所有计算节点，使变动立即生效。另外node41的 /etc/cron.daily/sync_user脚本负责每天将用户
7、信息自动同步。$ cat /etc/cron.daily/sync_user#/bin/bashfor i in seq 1 40; do scp /etc/passwd /etc/shadow /etc/group node$i:/etc/ &/dev/nulldone2.4. 设置用户磁盘配额在管理节点node41上已经打开 /home1 (/dev/sdc1) 和 /home2 (/dev/sdc2) 的磁盘配额（quota）功能。设置某个用户磁盘配额时，使用root账户在node41上执行：$ edquota username会出现类似下面的编辑页面：Disk quotas for u
8、ser test (uid 1000):Filesystem blocks soft hard inodes soft hard/dev/sdc1 1420 0 0 129 0 0/dev/sdc2 16256 1000000 0 408 0 0这里可以分别设置 /home1和 /home2的quota，如果用户主目录在 /home1，通常对 /home1设置即可。“blocks”列显示目前用户的磁盘使用量，单位是KB；“inodes”列显示目前用户的文件数。改变“soft”，“hard”列的值就可设置用户的最大磁盘使用量和最多文件数。“0”表示不做限制。完成后，可用以下命令检查设置好的quo
9、ta值：$ quota username三、 作业调度管理作业调度相关的操作，比如新建、修改队列、控制队列优先级，将某个用户加入或移除某队列等，可通过曙光GridView管理软件进行，在WEB浏览器地址栏中输入以下URL：http:/159.226.37.85:8080/gridview_portal出现登录界面后，用root账户登入即可。3.1. 队列管理在GridView管理软件的“作业调度”下拉链菜单中选择“队列管理”，如下图所示：界面中会出现系统中已有的队列，选择某个队列后，用鼠标点击“修改队列”，可以修改队列属性，包括最大作业数、优先级、可访问节点等，如下图所示：除了修改队列，也可以
10、新建队列并设定相关属性。3.2. 用户权限控制在GridView管理软件的“作业调度”下拉链菜单中选择“用户管理”，如下图所示：可以对系统中已有的用户进行设置，比如加入某个队列，从某个队列中移除，设置优先级、最大作业数、最多CPU核数等。如下图所示：3.3. 作业记账功能用户记账信息保存在/opt/gridview/pbs/dispatcher/server_priv/accounting目录下，每个文件对应一天的记账信息，文件名就是日期，如20090930。一般不直接读取这些文件，而通过下面的命令抽取出简洁的记账信息：比如，要输出2009.09.30这一天的统计信息：$ pbsacct /o
11、pt/gridview/pbs/dispatcher/server_priv/accounting/20090930 输出2009年9月的统计信息：$ pbsacct /opt/gridview/pbs/dispatcher/server_priv/accounting/200909*另外，-G参数输出各用户组的统计信息，-g GID输出指定用户组的统计信息。输出2009年9月中，整个集群的利用率：$ pbsnodect /opt/gridview/pbs/dispatcher/server_priv/accounting/200909*建议定期备份 /opt/gridview/pbs/dis
12、patcher/server_priv/accounting目录，以备日后查询统计。四、 软件使用系统公用软件都部署在 /home1/soft下，相应的安装文件或源代码放在 /home1/source下，每个用户都可以访问。如果用户有个别需求，可以拷贝/home1/source下的程序或源代码，在自己的主目录中自行安装。4.1. 编译器安装的编译器列表如下，已经配置好环境变量，可以直接使用编译器安装位置环境变量配置文件CC+F77F90系统自带GNU/user无gccg+gfortrangfortranIntel-11.1.069/home1/soft/intel/Compiler/etc/p
13、rofile.d/iccvars.sh/etc/profile.d/ifortvars.shiccicpcifortifortPGI-10.0/home1/soft/pgi/etc/profile.d/pgi.shpgccpgCCpgf77pgf904.2. 数学库公用数学库位于 /home1/soft/mathlib下，常用的是LAPACK和BLAS库，推荐使用共性能的GotoBLAS2数学库，它包含了LAPACK和BLAS的所有库函数，使用方法如下：如果使用Intel编译器：$ ifort program.f -L/home1/soft/mathlib -lgoto2-intel如果使用PGI编译器：$ pgf77 program.f -L/home1/soft/mathlib -lgoto2-pgi另外，Intel-11.1编译器自带了Intel MKL数学库，比如LAPACK或BLAS库的使用方法如下：$ ifort program.f -L/home1/soft/intel/Compiler/11.1/069/mkl/lib/em64t -lmkl_intel_lp64 -lmkl_sequential lmkl_core -lguide4.3. MPI并行库系统中已经
