《一个复杂的pbs脚本》由会员分享，可在线阅读，更多相关《一个复杂的pbs脚本（49页珍藏版）》请在金锄头文库上搜索。
1、,化工学院高性能计算机集群（HPC）使用说明,浙江大学化工学院 曙光计算机公司 6/15/2015,本项目由18个曙光I620-G20高性能节点构成了基于Linux系 统并行环境，以千兆快速TCP/IP以太通信网为基础，以NFS 共享存储方式组的高性能并行计算系统； 其中TC5000与TC5001为登录及管理节点 、 node1node16为计算节点； 其中TC5000与TC5001同时承担集群共享I/O服务，所有节 点必须有共享/public目录； 其中/public/software/下面为集群软件安装路径，所有软件 安装到该目录下面，不同的软件安装到该目录下面的不同文 件目录，文件目录最
2、好以软件名为名以进行区分。,系统物理组成,开机顺序： 1、先开以太网交换机，FC光纤磁盘阵列电源； 2、1分钟后打开TC5000与TC5001节点电源； 3、3分钟后打开node1node16电源； 关机顺序： 1、先关闭node1node16电源; 2、等待3分钟以后，关闭TC5000及TC5001电源； 3、等待红3分钟后，关闭交换机及FC光纤磁盘阵列电源。,开关机顺序,管理节点登录IP： 10.14.83.152 用户名：（需要申请） 密码：（需要申请） 登录方式：ssh命令行登录、VNC图形化界面登录； 登录工具：putty命令行登录、VNC Viewer图形化登录； Linux to
3、 Windows文件传输工具：winscp,系统登录,命令行登录-putty工具,命令行登录,命令行登录,图形化登录,使用VNC Viewer工具 输入服务器IP:端口号，然后点击OK,图形化登录,输入登录密码,图形化登录-图形化界面登录成功,右键、open terminal打开命令操作窗口,图形化登录-图形化界面命令窗口,启用VNC步骤： 1、su - username 2、vncserver （注意，第一次运行会提示设置密码） 运行完后，注意生成的ID号,然后即可以用VNC viewer客户 端工具连接了。 高级操作： 1、vncserver -kill :ID号 （杀掉刚刚生成的图形连接
4、ID号） 2、示例使用： vncserver -geometry 1920x1080 -depth 24 :5 指定分辨率1920x1080，指定端口ID为5； 3、改图形化登录密码：vncpasswd,图形化登录开启方法,文件传输工具,文件传输工具,操作系统： Red Hat Enterprise Linux Server release 6.4 系统位数：64位 编译器：Intel 14，安装路径/public/software/intel，也可以 使用which icc或which ifort查看详细路径； GCC编译器，使用which gcc查看详细路径； Open-MPI 1.6.3
5、安装路径 /public/software/mpi/openmpi1.6.3-intel/，也可以使用 which mpirun查看详细路径 作业调度系统：torque；,并行软件环境,集群操作命令,集群状态显示：pestat,集群状态显示：pestst,查看IP：ifconfig 查看文件系统挂载：df -h 显示当前所在文件夹路径：pwd 显示当前所在文件夹下文件及文件夹：ls -a 显示当前文件夹大小： 切换文件夹：cd 文件夹路径 创建文件夹：mkdir 文件夹名 删除文件夹：rm -rf 文件夹名 删除文件:rm -rf 文件名 查看文本文件内容:cat 文件名 编辑配置文件：vi
6、配置文件名 载入软件环境变量：source 环境变量文件绝对路径,系统基本操作命令,集群管理命令：clusconf 【添加账号：clusconf -au 账号名】 【删除账号：clusconf -du 账号名】 【同步文件：clusconf -yf 路径加文件名】,【批量执行命令：clusconf 【测试IP：cluster -n】 【集群文件系统显示：,-yd 命令】,cluster -s -yd df -h |grep -E “node|public“】,集群操作命令,rootnode15 # clusconf -au testuser REMOTE_SH using ssh/scp Op
7、eration is done in following hosts: node1 node2 node3 node4 node5 node6 node7 node8 node9 node10 node11 node12 node13 node14 node15 Now add user: testuser on the Whole cluster 5 4 3 2 1 Input the Home directory for user:testuser/public/home/testuser:直接回车 Input the Group Name for user:testuserusers:直
8、接回车 Input the uid for user:testuser505:直接回车 Changing password for user testuser. New UNIX password:此处输入密码 BAD PASSWORD: it is based on a dictionary word Retype new UNIX password:此处输入确认密码 passwd: all authentication tokens updated successfully. Now Synchronize user and group on the Whole cluster 5 4 3
9、 2 1 adduser testuser on the whole cluster successfully!,集群添加账号过程,切换账号：su - 用户名 切换节点：ssh 节点名 文件编辑工具：vi 重启命令：reboot,使用此命令切换到某个账号 使用此命令登录到某个节点,关机命令：shutdown -h now,集群操作命令,vi是Linux系统下面最常用的文本编辑工具，几乎所有系统配 置相关的修改都要使用到这个工具。 例：有/test.txt文档，该文档内容为 rootnode1 # cat /test.txt 11111111 22222222 33333333 实验内容：先在/
10、test.txt文件第4行添加44444444，同时复 制第2行内容到第5行。,最基础最常用vi,在介绍cat命令时，我们使用了more与grep参数，这两个参 数非常的有用，可以在任何显示内容性的命令后面添加这个 参数，以方便我们获取到需要的有用信息。 more参数可以让我们一页一页的查看内容； grep参数可以让我们筛选出所需要的信息。,通用参数more与grep,一、本地文件及文件夹的复制 cp 源文件 目标文件 例：cp /a /b 二、网络文件及文件夹的复制 scp 源文件 目标文件 例： scp /a 192.168.1.1:/b 通用参数： -r复制文件夹时必须添加的参数； -a
11、不改变任何文件属性的复制 -f强制复制 -u只复制目标没有的文件,文件及文件夹复制,一、文件及文件夹的移动、重命名 mv 源文件 目标文件 当源文件与目标文件存放路径一致时，实际执行重命名操作 参数：-f强制模式、-u只移动目标没有的文件或文件夹 二、文件及文件夹的删除 rm 文件名，可以删除文件 参数：-r删除文件夹时必须添加该参数; -f强制模式 注：所有的文件及文件夹操作均可使用通配符*，但请慎用。,文件移动、重命名及删除,一、一般使用ls rootnode1 # ls aaa Desktop 二、查看权限及修改时间用ll rootnode1 # ll total 14820,softw
12、are,drwxr-xr-x 2 root root 4096 Dec 12 10:58 aaa 通用参数：-a显示所有文件，包含文件名前为.的隐藏文件 -h格式化显示文件大小,列出文件列表,集群账号目录： roottc5000 # ls /public/home/ msi test user00 使用clusconf au添加账号时，默认会把用户目录建到上面 路径下面。 集群软件安装目录： roottc5000 # ls /public/software/ 集群安装软件时，需要在TC5000节点安装到 /public/software下面，如果软件只有自己使用，则可以安 装在自己的账号目录下
13、面即可。,集群软件安装,查看文件夹下面的文件及文件夹大小可以使用du命令： du 文件夹 -h,查看某个文件夹具体大小 du 文件夹 -sh,查看文件夹总大小,PBS作业调度使用说明,1. 准备：编写描述改作业的脚本，包括作业名，需要的资源等。 2. 提交：使用qsub命令将该作业提交给PBS服务器 3. 排队：服务器将该任务排入适当的队列 4. 调度：服务器检查各工作节点的状态是否符合该作业的要求，并 进行调度。 5. 执行：当条件满足时，作业被发给相应的执行服务器执行。程序 运行时执行服务器会收集程序的标准输出和标准错误流，等程序 结束时，将这些信息返回给用户。 6. 查询和调整：当作业在
14、运行时，用户可以使用qstat进行状态查询。 用户发现作业提交错误时，可以使用qdel删除正在运行的作业。 7. 查看结果：使用文本编辑软件vi或者系统命令cat, less等查看输出 及错误信息显示。,PBS作业提交步骤, 在PBS系统中，用户使用 qsub 命令提交用户程序。用 户运行程序的命令及PBS环境变量设置组成PBS作业脚本 ，作业脚本使用如下格式提交到PBS系统运行：,qsub ,qsub -N test.vasp -l nodes=4:ppn=2 -q defaults ,PBS作业提交基本命令, 本质是一个SHELL脚本 注释以“#”开头 PBS运行参数，以“#PBS”开头
15、可以直接调用SHELL命令和系统命令,#PBS -N vasp #PBS -l nodes=1:ppn=1 #PBS -l walltime=12:00:00 #PBS -q high cd /home/test/work ./test.exe,PBS作业脚本,PBS运行参数,在 PBS 脚本和 qsub 命令行中均有效，qsub命令行参数的优先级更高,PBS的环境变量,# 这是一个串行作业脚本的例子 #PBS -N test #PBS -l nodes=1:ppn=1 cd $HOME/test/ ./a.out $HOME/result/a.result,# 这是一个并行作业脚本的例子 #
16、PBS -N vasp_job #PBS -l nodes=2:ppn=8 #PBS -q low echo This jobs is $PBS_JOBID$PBS_QUEUE cd $PBS_O_WORKDIR mpirun -np 16 -machinefile $PBS_NODEFILE ./vasp,PBS脚本举例,PBS脚本举例（续1）, 有时在PBS脚本中，需要对PBS环境变量的内容进行改造 比如，$PBS_NODEFILE，该文件内容格式为： node1 node1 node2 node2 对于一般MPI程序，可直接将 $PBS_NODEFILE 作为 MPI 的 ”-machinefile”参数，如上例所示 而一些软件有特殊的节点指定格式，比如ANSYS的命令行参数格式为 ： ansys121 -dis -machines node1:2:node2:2 -i test.inp -o test.log 这时我们可以对 $PBS_NODEFILE
