《ubuntu集群-高性能集群-科学运算集群-unixwind》由会员分享，可在线阅读，更多相关《ubuntu集群-高性能集群-科学运算集群-unixwind（14页珍藏版）》请在金锄头文库上搜索。
1、转载请注明出处，作者博客地址转载请注明出处，作者博客地址http:/http:/在本文中我将一步一步指导大家设置自己的设置自己的“高性能集群高性能集群”又叫科学运算集群又叫科学运算集群，通过UbuntuUbuntu MPIMPI ClusterCluster 平台平台，借助 John the Ripper 实现在多台计算机上对加密过的目标进行暴力破解。当然这一切应以学术研究为目的。计算机上具备四核处理器的朋友该笑了。尽管 Ubuntu 软件库中的”john”二进制代码原本只针对于单核运行，但我的设置将尝试使其在四核计算机上运行效率更高，耗时更少。本文的出发点是将问题表达得通俗易懂，以使普通用户
2、便于理解掌握，因此我决定不在其中涉及 NIS,NFS,BIND 或诸如此类的复杂技术。读者应该不必花费数天时间阅读有关Linux 系统管理员知识的教材或手册，也能在家中轻松建立并玩转计算机集群系统。我制作的应用基于 Ubuntu 10.04 Server，因为它是迄今为止最常用的 Linux 工具，同时也是一种蕴涵长效机制的版本，在 2015 年之前可以一直适用。说明说明本文中谈到的集群实施方案并不会对具备高实用性及安全性的运行环境构成威胁。环境环境我发现不得不从破解自己设置的一个尘封多年早已忘却的老密码开始着手。在搜集了几台手边的计算机之后，我开始尝试让它们协同工作。本文的诞生，是极端沮丧的
3、心情、过量的咖啡因加上一整个不眠之夜的产物。基本要求基本要求需要至少两台可运行 Ubuntu Linux 10.04 版本且已联网的计算机。“John”并不需要太大的带宽。服务器配置服务器配置服务器要求服务器要求一个静态 IP 地址或 DHCP 中保留的 IP。需要用到的软件包需要用到的软件包以下软件包是必备的：libmpich1.0 - dev- MPICH 静态库和开发文件libmpich - mpd1.0 - dev- MPICH 静态库和开发文件 libmpich - shmem1.0 - dev- MPICH 静态库和开发文件 openssh-server 安全框架 (SSH) 工具
4、, 保障远程计算机的安全访问 mpich2 实施 MPI 信息传递接口标准 mpich2-doc MPICH2 相关文档 john 强力的密码破解工具 build-essentials 必备软件包的信息统计清单markserver:$ sudo apt-get install libmpich1.0-dev libmpich-mpd1.0-dev libmpich-shmem1.0-dev mpich2 mpich2-doc john openssh-server build-essentials默认情况下，/etc/hosts 文件应如下所示：127.0.0.1 localhost127.0
5、.1.1 server.petur.eu server#下列内容是采用 IPv6 协议的主机fe00:0 ip6-localnetff00:0 ip6-mcastprefixff02:1 ip6-allnodesff02:2 ip6-allrouters首先把你的 IP 地址修改为 127.0.1.1。处应为你的 FQDN，而处应为你的计算机主机名。通过执行下列命令查找你的 IP：peturserver:$ ifconfig|grep “inet addr”inet addr:10.0.0.1 Bcast:10.255.255.255 Mask:255.0.0.0inet addr: 127.
6、0.0.1 Mask:255.0.0.0配置配置 John the Ripper在 处可以获取具备 MPI补丁版本的 John the Ripper。clusterserver:$ mkdir sourceclusterserver:$ cd sourceclusterserver:/source$ wget http:/ 17-mpi8.tar.gz从 src 目录中解压并运行 make 指令(若你的计算机分辨率太小，请尝试使用make|less 指令)。clusterserver:/source$ tar -zxf john-1.7.2-bp17-mpi8.tar.gclusterser
7、ver:/source$ cd john-1.7.2-bp17-mpi8/src/clusterserver:/source/john-1.7.2-bp17-mpi8/src$ make修改后/etc/hosts 下的内容应如下所示：127.0.0.1 localhost10.0.0.1 server.petur.eu server#下列内容是采用 IPv6 协议的主机:1 localhost ip6-localhost ip6-loopbackfe00:0 ip6-localnetff00:0 ip6-mcastprefixff02:1 ip6-allnodesff02:2 ip6-allr
8、outers用户配置用户配置新建一个名为“cluster”(集群)并在其路径中加入/bin/代码。我发现在每台计算机上都对cluster采取相同的设置步骤是最便捷的做法。peturserver:$ sudo useradd -m -s /bin/bash clusterpeturserver:$ sudo passwd clusterEnter new UNIX password:(输入新的 UNIX 密码)Retype new UNIX password:(再次输入新的 UNIX 密码)passwd: password updated successfully(密码：密码更改成功)petur
9、server:$ sudo su cluster -c “mkdir /bin;export PATH=/bin:$PATH”MPICHMPICH 设置设置MPI 的应用基于以下配置文件： /.mpd.conf/.mpd.conf注：此文件以 a 开头且必须配合 chmod 600 才能生效。此文件在你的密码中包含一个单独的命令行“secretword=“ (replace ，其内容必须与集群中所有/.mpd.conf 中的相关内容相同。 /mpd.hosts/mpd.hosts此文件中包含所有集群节点及服务器的列表，其格式为“host:number-of-cpu-cores”, fx。如果您
10、的计算机具备四核心处理器，则将 10.0.0.2 设置为 10.0.0.2:4。如果你只是想使用 MPICH 的功能而不在乎可用处理器核心的数量，那么该数值可以设置得低于实际情况。举例说明，如果服务器具备四核心处理器，你可能希望将数值设置为:3，而不是:4，这样服务器可以同时处理其它一些运算。千万不要预设千万不要预设 localhostlocalhost 或或 127.0.0.1127.0.0.1 这类你必须连接网络才能使用的这类你必须连接网络才能使用的 IPIP。检查处理器核心数量，并创建配置文件。clusterserver:$ touch /.mpd.confclusterserver:$
11、 chmod 600 /.mpd.confclusterserver:$ echo secretword=pass/.mpd.confclusterserver:$ /sbin/ifconfig|grep “inet addr”clusterserver:$ /sbin/ifconfig|grep “inet addr”inet addr:127.0.0.1 Mask:255.0.0.0clusterserver:$ cat /proc/cpuinfo|grep processor|wc lclusterserver:$ echo 10.0.0.1: 1 /mpd.hosts设置完成后，通过执
12、行以下指令检查是否运行正常： mpdbootmpdboot 启动集群启动集群 mpdtracempdtrace - - 列出群体的所有节点列出群体的所有节点 mpdallexitmpdallexit 关闭集群关闭集群mpdallexit shut down the clusterclusterserver:$ mpdtraceclusterserver:$ mpdallexit此时你会看到一个选项清单。要创建 John the Ripper，键入保持系统清空运行所需的系统如下所示：如果设置方面没有任何错误，那么你的指令将全部被正确执行。如果出现问题，请检查你的/.mpd.cof 的权限设置及/
13、etc/hosts 和/mpd.hosts 的内容是否正确。linux-x86-mmx Linux, x86 with MMXlinux-x86-sse Linux, x86 with SSE2 (推荐)linux-x86-any Linux, x86linux-x86-64 Linux, AMD x86-64, 64-bit native w/SSE2 (推荐)linux-x86-64-mmx Linux, AMD x86-64, 32-bit with MMX我发现 linux-x86-sse2 在我基于 Intel 架构的工作站上运行效果最好。clusterserver:/source/
14、john-1.7.2-bp17-mpi8/src$ make clean linux-x86-sse2如果程序编译过程没问题，测试一下它能否正常工作。clusterserver:/source/john-1.7.2-bp17-mpi8/src$ ./run/john -format=DES testBenchmarking: Traditional DES 128/128 BS SSE2 DONEMany salts: 1994K c/s real, 1994K c/s virtualOnly one salt: 1658 c/s real, 1654K c/s virtual将你新编译出的可
15、执行文件移动至/bin 下。运行 John 程序并确保它是_mpi 版本。如果仍然无法正常运行，那可能是你的绝对路径出了问题。clusterserver:/source/john-1.7.2-bp17-mpi8/src$ john|grep versionJohn the Ripper password cracker, version 1.7.2_bp17_mpi配置额外的节点配置额外的节点每次在集群中新增节点，都需要遵循下列操作：该节点的 IP 地址为 10.0.0.2前期准备前期准备一个静态 IP 地址或 DHCP 中保留的 IP。网络配置网络配置遵循服务器配置中的相同步骤，但注意过程中要使用正确的 IP 地址。必备的软件包。必备的软件包。与服务器设置时的要求相同。用户配置用户配置为集群选择与你在服务器上所设置的相同的密码。peturnode1:$ sudo useradd -m -s /bin/bash clusterpeturnode1:$ sudo passwd clusterEnter new UNIX password:Retype new UNIX password:passwd: password updated successfu
