《超级计算机操作系统》由会员分享，可在线阅读，更多相关《超级计算机操作系统（18页珍藏版）》请在金锄头文库上搜索。
1、Ubuntu 下设置自己的“超级计算机集群”(1)【51CTO 3 月 10 日外电头条】 在本文中我将一步一步指导大家设置自己的“超级计算机集群”，通过Ubuntu MPI Cluster 平台，借助 John the Ripper 实现在多台计算机上对加密过的目标进行暴力破解。当然这一切应以学术研究为目的。计算机上具备四核处理器的朋友有福了。尽管 Ubuntu 软件库中的”john”二进制代码原本只针对于单核运行，但我的设置将尝试使其在四核计算机上运行效率更高，耗时更少。本文的出发点是将问题表达得通俗易懂，以使普通用户便于理解掌握，因此我决定不在其中涉及NIS,NFS,BIND 或诸如此类
2、的复杂技术。读者应该不必花费数天时间阅读有关 Linux 系统管理员知识的教材或手册，也能在家中轻松建立并玩转计算机集群系统。我制作的应用基于 Ubuntu 10.04 Server，因为它是迄今为止最常用的 Linux 工具，同时也是一种蕴涵长效机制的版本，在 2015 年之前可以一直适用。前言本文中谈到的集群实施方案并不会对具备高实用性及安全性的运行环境构成威胁。背景我发现不得不从破解自己设置的一个尘封多年早已忘却的老密码开始着手。在搜集了几台手边的计算机之后，我开始尝试让它们协同工作。本文的诞生，是极端沮丧的心情、过量的咖啡因加上一整个不眠之夜的产物。基本要求需要至少两台可运行 Ubun
3、tu Linux 10.04 版本且已联网的计算机。“John”并不需要太大的带宽。服务器配置服务器要求一个静态 IP 地址或 DHCP 中保留的 IP。需要用到的软件包以下软件包是必备的：libmpich1.0 - dev- MPICH 静态库和开发文件libmpich - mpd1.0 - dev- MPICH 静态库和开发文件 libmpich - shmem1.0 - dev- MPICH 静态库和开发文件 openssh-server 安全框架 (SSH) 工具, 保障远程计算机的安全访问 mpich2 实施 MPI 信息传递接口标准 mpich2-doc MPICH2 相关文档 j
4、ohn 强力的密码破解工具 build-essentials 必备软件包的信息统计清单peturserver:$ sudo apt-get install libmpich1.0-dev libmpich-mpd1.0-dev libmpich-shmem1.0-dev mpich2 mpich2-doc john openssh-server build-essentials网络配置默认情况下，/etc/hosts 文件应如下所示：127.0.0.1 localhost127.0.1.1 server.petur.eu server#下列内容是采用 IPv6 协议的主机fe00:0 ip6-
5、localnetff00:0 ip6-mcastprefixff02:1 ip6-allnodesff02:2 ip6-allrouters首先把你的 IP 地址修改为 127.0.1.1。处应为你的 FQDN，而处应为你的计算机主机名。通过执行下列命令查找你的 IP：peturserver:$ ifconfig|grep “inet addr”inet addr:10.0.0.1 Bcast:10.255.255.255 Mask:255.0.0.0inet addr: 127.0.0.1 Mask:255.0.0.0修改后/etc/hosts 下的内容应如下所示：127.0.0.1 loc
6、alhost10.0.0.1 server.petur.eu server#下列内容是采用 IPv6 协议的主机:1 localhost ip6-localhost ip6-loopbackfe00:0 ip6-localnetff00:0 ip6-mcastprefixff02:1 ip6-allnodesff02:2 ip6-allrouters用户配置新建一个名为“cluster”(集群)并在其路径中加入/bin/代码。我发现在每台计算机上都对cluster采取相同的设置步骤是最便捷的做法。peturserver:$ sudo useradd -m -s /bin/bash cluste
7、rpeturserver:$ sudo passwd clusterEnter new UNIX password:(输入新的 UNIX 密码)Retype new UNIX password:(再次输入新的 UNIX 密码)passwd: password updated successfully(密码：密码更改成功)peturserver:$ sudo su cluster -c “mkdir /bin;export PATH=/bin:$PATH”MPICH 设置MPI 的应用基于以下配置文件： /.mpd.conf注：此文件以 a 开头且必须配合 chmod 600 才能生效。此文件在
8、你的密码中包含一个单独的命令行“secretword=“ (replace ，其内容必须与集群中所有/.mpd.conf 中的相关内容相同。 /mpd.hosts此文件中包含所有集群节点及服务器的列表，其格式为“host:number-of-cpu-cores”, fx。如果您的计算机具备四核心处理器，则将 10.0.0.2 设置为 10.0.0.2:4。如果你只是想使用 MPICH 的功能而不在乎可用处理器核心的数量，那么该数值可以设置得低于实际情况。举例说明，如果服务器具备四核心处理器，你可能希望将数值设置为:3，而不是:4，这样服务器可以同时处理其它一些运算。千万不要预设 localho
9、st 或 127.0.0.1 这类你必须连接网络才能使用的 IP。检查处理器核心数量，并创建配置文件。clusterserver:$ touch /.mpd.confclusterserver:$ chmod 600 /.mpd.confclusterserver:$ echo secretword=pass/.mpd.confclusterserver:$ /sbin/ifconfig|grep “inet addr”clusterserver:$ /sbin/ifconfig|grep “inet addr”inet addr:127.0.0.1 Mask:255.0.0.0cluster
10、server:$ cat /proc/cpuinfo|grep processor|wc lclusterserver:$ echo 10.0.0.1: 1 /mpd.hosts设置完成后，通过执行以下指令检查是否运行正常： mpdboot 启动集群 mpdtrace - 列出群体的所有节点 mpdallexit 关闭集群mpdallexit shut down the clusterclusterserver:$ mpdtraceclusterserver:$ mpdallexit如果设置方面没有任何错误，那么你的指令将全部被正确执行。如果出现问题，请检查你的/.mpd.cof的权限设置及/
11、etc/hosts 和/mpd.hosts 的内容是否正确。安装 John the Ripper在 处可以获取具备 MPI 补丁版本的 John the Ripper。clusterserver:$ mkdir sourceclusterserver:$ cd sourceclusterserver:/source$ wget http:/ 17-mpi8.tar.gz从 src 目录中解压并运行 make 指令(若你的计算机分辨率不足，请尝试使用 make|less 指令)。clusterserver:/source$ tar -zxf john-1.7.2-bp17-mpi8.tar.g
12、clusterserver:/source$ cd john-1.7.2-bp17-mpi8/src/clusterserver:/source/john-1.7.2-bp17-mpi8/src$ make此时你会看到一个选项清单。要创建 John the Ripper，键入保持系统清空运行所需的系统如下所示：linux-x86-mmx Linux, x86 with MMXlinux-x86-sse Linux, x86 with SSE2 (推荐)linux-x86-any Linux, x86linux-x86-64 Linux, AMD x86-64, 64-bit native w/
13、SSE2 (推荐)linux-x86-64-mmx Linux, AMD x86-64, 32-bit with MMX我发现 linux-x86-sse2 在我基于 Intel 架构的工作站上运行效果最好。clusterserver:/source/john-1.7.2-bp17-mpi8/src$ make clean linux-x86-sse2如果程序编译过程没问题，测试一下它能否正常工作。clusterserver:/source/john-1.7.2-bp17-mpi8/src$ ./run/john -format=DES testBenchmarking: Traditiona
14、l DES 128/128 BS SSE2 DONEMany salts: 1994K c/s real, 1994K c/s virtualOnly one salt: 1658 c/s real, 1654K c/s virtual将你新编译出的可执行文件移动至/bin 下。运行 John 程序并确保它是_mpi 版本。如果仍然无法正确执行，那一定是你设置的路径出了问题。clusterserver:/source/john-1.7.2-bp17-mpi8/src$ john|grep versionJohn the Ripper password cracker, version 1.7.
15、2_bp17_mpi配置额外的节点每次在集群中新增节点，都需要遵循下列操作：该节点的 IP 地址为 10.0.0.2前期准备一个静态 IP 地址或 DHCP 中保留的 IP。网络配置遵循服务器配置中的相同步骤，但注意过程中要使用正确的 IP 地址。必备的软件包。与服务器设置时的要求相同。用户配置为集群选择与你在服务器上所设置的相同的密码。peturnode1:$ sudo useradd -m -s /bin/bash clusterpeturnode1:$ sudo passwd clusterEnter new UNIX password:Retype new UNIX password:passwd: password updated successfullypeturnode1:$ sudo su cluster -c “mkdir /bin;export PATH=/bin:$PATH”MPICH 配置下列命令应被从服务器上而非新节点上执行。节点上的密码设置与服务器相比，减少了 SSH 环节。clusterserver:$ ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save t
