《HPLinux高性能集群解决方案》由会员分享，可在线阅读，更多相关《HPLinux高性能集群解决方案（22页珍藏版）》请在金锄头文库上搜索。
1、惠普Linux高性能集群方案中国惠普有限公司2008.10目 录前言3一、设计原则4二、方案描述5三、系统构成8四、集群系统的管理9五、为什么选用Linux10六、HP与高性能计算12七、成功案例13八、产品介绍15前言随着计算机科学技术与国民经济的快速发展，高性能计算已经逐渐成为科学研究所必需的辅助工具，在各个基础学科领域发挥出巨大的作用。如在气象气候、地震预报、石油物探、航空航天、工程计算、密码研究、新药设计、生物基因、船舶工程、地质勘探、海洋工程、城市建设、武器研究、材料工程、环境科学等领域，研究工作的计算任务往往公式复杂、计算难度大、计算时间极长，用一般计算方式难于完成，因此高性能计算
2、系统就成为必不可少的工具。高性能计算集群(HPCC-High Performance Computing Cluster)是计算机科学的一个分支，以解决复杂的科学计算或数值计算问题为目的，是由多台节点机（服务器）构成的一种松散耦合的计算节点集合。为用户提供高性能计算、网络请求响应或专业的应用程序(包括并行计算、数据库、Web)等服务。相比起传统的小型机，集群系统有极强的伸缩性，可通过在集群中增加或删减节点的方式，在不影响原有应用与计算任务的情况下，随时增加和降低系统的处理能力。还可以通过人为分配的方式，将一个大型集群系统分割为多个小型集群分给多个用户使用，运行不同的业务与应用。集群系统中的多台
3、节点服务器系统通过相应的硬件及高速网络互连，由软件控制着，将复杂的问题分解开来，分配到各个计算节点上去，每个集群节点独立运行自己的进程，这些进程之间可以彼此通信(通常是利用MPI消息传递接口)，共同读取统一的数据资源，协同完成整个计算任务，以多台计算节点共同运算的模式来换取较小的计算时间。根据不同的计算模式与规模，构成集群系统的节点数可以从几个到上千个。对于以国家政府、军方及大型组织机构来讲，节点数目可以达到数千甚至上万。而随着HPCC应用的普及，中小规模的高性能计算集群也慢慢走进中小型用户的视野，高性能计算集群系统的部署，极大地满足了此类用户对复杂运算的能力的需求，大大拓展了其业务范围，为中
4、小型用户的成长提供支持。本次方案研究适合于中小规模用户的典型系统：基于32个计算节点和InfiniBand高速网络的Linux集群。一、设计原则 l 先进性并行计算系统是目前业界较为先进的计算体系，是融合了计算、存储、网络与软件的综合体，在构架整个系统的过程中，要保证架构的每个环节采用业界先进且成熟的产品与技术，要均衡各环节之间的关系，消除系统构架的瓶颈，保证整个系统的高效率运行，可以满足未来数年技术和应用发展的需要，保护用户投资。l 高性能集群系统的重量考核指标是整体性能，即计算、存储、I/O能力与智能管理的体现。系统中所有节点均配置了基于最新四核处理器，保证充足的计算能力；节点间使用20G
5、b的Infiniband高速互连，保证了通信密集型并行应用对互连网络的性能要求；存储采用光纤SAN结构，并且根据存储量与I/O带宽的关系配置并行文件系统，可以较好满足应用对IO的性能要求。l 可扩展性集群系统区别于传统SMP/MPP计算体系的独特优势就是优异的扩展性，用户可以根据自己的需求随时增减系统中节点的数量，在将来计算能力需要扩充的时候，只需要增加一定数量的节点数目，即可在不影响当前应用的情况下，扩展整个系统的计算与存储能力。l 环保节能集群系统是由多个服务器节点、大容量存储及复杂网络构成的大规模应用系统，是一个巨大的耗电/发热体，除了本身的能耗，随之配备的空调系统也是耗电大户。因此，在
6、系统设计之时除了性能效率之外，必须考虑节能与环保的问题以减少对社会环境资源我过多占用与破坏。HP刀片服务器的高密度、能量智控、气流导向有效散热与自动管理特性可以使整个系统保持在较低的功耗，减少对电力的消耗、保护社会环境资源。二、方案描述 此次方案中，高性能计算集群系统的节点由 HP BladeSystem刀片服务器搭建，节点间通过InfiniBand高速网络相连，管理、登录和存储节点由HP ProLiant机架式服务器构成，存储节点通过SAN交换机外挂HP StorageWorks磁盘阵列来存储大容量数据。 系统采用HP公司的32台BL460c刀片服务器作为计算节点，放置在2套C7000刀片机
7、箱，用作并行计算的计算节点。每台刀片服务器配置2颗 四核处理器，8GB内存和2块146GB 热拔插SAS硬盘。每刀片机箱中，16台刀片服务器分两层放置，上层8台，下层8台（见产品描述刀片服务器部分详情）。计算节点集中在刀片机箱中，易于用户进行管理，网络设备模块化，电源集中供电，自动负载均衡，是当前业界最佳高性能集群平台方案。系统拓朴图：系统节点功能描述：l 计算节点用于科学计算，运行并行计算程序，是高性能集群计算系统的主体。占有最大的采购成本，也是系统耗电的主体l 管理节点安装有集群管理软件，做为主节点对整个集群进行监控、管理和作业调度等工作，还负责在集群安装的初期对所有的节点服务器进行操作系
8、统及应用软件的大规模快速部署功能，为多台服务器一次安装OS和软件提供极大的便利l 登录节点用来承接用户接入集群系统，运行并行计算的主程序体，对程序进行编译和调试，划分任务与数据，按照一定的规则分配到计算节点，最后对计算任务的回收与整理l 存储节点用来连接后台的大容量数据存储设备，将存储空间共共享给所有的节点服务器，整个集群通过此存储节点来进行数据的统一大规模存取与调用系统网络类型描述：l InfiniBand高速计算网络 由于并行集群计算系统对网络间的数据交换要求极高，因此在此集群系统中配置了高带宽低延迟的InfiniBand网络用来提高并行计算中的消息传递。此套系统中，刀片机箱中都配置了In
9、finiBand交换机，通过两个刀片机箱中的交换机相连的方式将所有计算节点连接成高带宽、低延迟的计算网络，用来运行并行计算中的进程间消息传递。 l 千兆管理网络 除了高速低延迟的InfiniBand网络，此集群系统中还配置了兼容性极高的千兆以太网络，用来运行基于TCP/IP协议的数据传输，做为集群管理网络，用来进行节点操作系统系统的布署，软件的安装，还可以做为另一套计算网络来运行。 l 监控网络在每个HP刀片机箱上和HP机架式服务器上，都配置有HP统一技术的iLO远程监控模块。系统再配置一套以太网交换机，用来与iLO百兆端口监控整个集群的运行状态和对集群进行远程开关机等操作。以上描述的网络都是
10、在刀片机箱中实现，包括各种交换机都是以模块化形式插在刀片机箱后面的插槽里。 系统网络结构的正面视图及背部连接图如下：三、系统构成 惠普高性能计算集群系统硬件部分： 计算节点： 32台HP BL460c刀片服务器(放置在2套HP C7000刀片机箱中) 管理节点： 1台HP ProLiant DL380G5 机架式服务器 登录节点： 1台HP ProLiant DL380G5机架式服务器 存储节点： 2台HP ProLiant DL380G5机架式服务器 存储设备： 1台HP MSA2000fc磁盘阵列柜 计算网络：InfiniBand(20Gb/s)高速计算网络 管理网络： 千兆以太网 监控网
11、络： 百兆以太网 控制系统： HP机架式17”TFT液晶显示器/键盘/鼠标及8端口切换器系统 基础设施： HP机柜、供电模块、系统布线、线缆插座和相关附件惠普高性能计算集群系统软件部分： 操作系统： Redhat 企业级Linux 集群管理： HP Cluster Management Utility集群管理软件 作业调度： OpenPBS /Maui 作业调度系统 编译环境： GNU C+/Fortran 编译器 /GDB调试器 并行环境： MPICH / OpenMP 数学函数库： Goto、BLAS、Lapack等四、集群系统的管理HP CMU集群管理软件：HPC集群能以非常低的价格达到
12、只有昂贵的大规模并行处理（MPP）才能实现的性能。尽管HPC集群架构解决方案在性价比方面比较突出，但是管理几百台系统的配置并非易事。为了支持不同客户的不同集群实施，惠普开发了HP CMU（集群管理工具），为主要任务提供了独立于Linux、MPI或其它软件组件之外的管理工具。对于使用多个开源和/或第三方软件组件实施集群解决方案，并需要简单的HPC集群安装和管理界面的客户来说，HP CMU是一个理想选择。 HP CMU支持HP ProLiants服务器和Integrity服务器（从1U双路CPU机架安装式服务器到4U 4路CPU服务器），以及Superdome和HP刀片服务器。 集群管理工具特性
13、集群管理工具旨在管理大量的计算节点，具有单一系统视图GUI（图形用户界面）。HP CMU带有完整的Java图形用户界面（GUI），可以根据您的需要和集群中任意数量的节点进行定制。HP CMU符合HP SIM（系统集成管理器）1级集成标准。HP CMU针对日常管理和克隆（cloning）任务提供了命令行界面（CLI）。通过其用户友好图形界面，HP CMU为集权管理员提供以下3个主要特性： 管理 通过HP CMU，您可以暂停、启动、重启或关闭选定的任何节点。您还可以连接到集群中的多个节点，并通过一次键盘输入以广播的方式向其发出命令。HP CMU也可以帮助您管理来自集群的事件，如节点的增加或减少等。
14、 克隆 对于初次安装或者未来更新，集群管理员能够向集群中所有或部分计算节点传送系统配置映像。CMU是唯一一款经实际检验能高效管理1000个以上计算节点的管理工具。 监控 凭借其新的监控特性，整个集群的环境和性能信息可作为一个系统向系统管理员呈现。管理员能够对整个系统的表现一目了然，而无需对单独计算节点的性能进行复杂的分析。 HP CMU支持所有的集群平台产品系列（CP3000、CP4000 CP4000BL、CP6000）、所有的ISS Proliant刀片服务器产品系列、所有的Integrity集群以及Linux发行套件，如RedHat、SuSE、Debian等。五、为什么选用LinuxLi
15、nux作为一个新兴的操作系统，以它为平台来构建多节点的集群系统有很多优点： 1 低成本：与Windows以及其它商品化Unix操作系统相比，Linux的一个显而易见的优势就是廉价。硬件的花销加上很少的软件费用就可以拥有一个服务器集群，这方面显然是其它操作系统无法比拟的。而且Linux对于硬件的要求比Windows要低得多。一般的用户也可以利用Linux来构造一个高性能的集群来进行科学计算、实验，在很大程度上它可以替代以往昂贵的大型计算机。 2 自由开放：自由开放是Linux的一个最迷人的特点。 Linux的开发者从Linus 等寥寥几人发展到全世界将近1000万的庞大用户群，其扩张速度令人刮目。Linux并不仅仅是给用户提供了更多的选择，更重要的是它宽阔的胸怀征服了那些好奇、上进、富于创造精神和协作精神的电脑爱好者。 而开放源码为提高性能提供了更加广阔的空间。开发者可以看到这个系统是怎样跑起来的，然后在操作系统一级进一步提高性能便
