高性能计算平台设计方案

《高性能计算平台设计方案》由会员分享，可在线阅读，更多相关《高性能计算平台设计方案（23页珍藏版）》请在金锄头文库上搜索。

1、XXXX 高性能计算平台建设方案 XXXXX 2013 年 4 月 Xxxxx 第 1 页 目录 1 概述 2 1.1 背景概况 . 2 1.2 建设内容 . 3 1.3 设计原则 . 3 2 总体架构 5 3 高性能计算平台硬件系统. 6 3.1 平台架构图 . 6 3.2 主要设备选型. 8 3.3 Cluster 集群系统 9 3.4 计算节点 . 10 3.5 管理节点 . 10 3.6 I/O 存储节点 11 3.7 网络系统方案. 错误！未定义书签。 3.8 管理网络 . 12 3.9 监控网络 . 12 3.10 存储系统 . 12 4 高性能计算平台软件系统. 13 4.1 6

2、4 位 Linux 操作系统 . 13 4.2 集群管理软件. 14 4.3 作业调度系统. 14 4.4 并行文件系统. 15 4.5 集群并行计算环境. 15 4.6 标准库函数 . 16 4.7 标准应用软件. 16 5 项目经费预算. 17 5.1 经费来源 . 17 5.2 经费支出预算. 17 附页高性能计算平台技术参数要求 18 Xxxxx 第 2 页 1 概述 1.1 背景概况 20 世纪后半期，全世界范围掀起第三次产业革命的浪潮，人类开始迈入后 工业社会信息社会。 在信息经济时代， 其先进生产力及科技发展的标志就是 计算技术。在这种先进生产力中高性能计算机（超级计算机）更是具

3、有代表性。 时至今日，计算科学（尤其是高性能计算）已经与理论研究、实验科学相并 列，成为现代科学的三大支柱之一。 三种科研手段中， 理论研究为人类认识自然界、发展科技提供指导，但科学 理论一般并不直接转化为实用的技术；实验科学一方面是验证理论、 发展理论的 重要工具，另一方面，它是在理论的指导下发展实用技术，直接为经济发展服务； 计算科学的发展也有相当悠久的历史，只是在计算机这一强大的计算工具问世之 前，计算只能利用人类的大脑和简单的工具，计算应用于科学研究有天然的局限 性，限制了它作用的发挥； 随着计算机技术的发展， 使用科学计算这一先进的技 术手段不断普及，逐渐走向成熟。科学计算可以在很大

4、程度上代替实验科学，并 能在很多情况下， 完成实验科学所无法完成的研究工作。科学计算也直接服务于 实用科技，并为理论的发展提供依据和机会。在许多情况下， 或者理论模型过于 复杂甚至尚未建立， 或者实验费用过于昂贵甚至不允许进行，此时计算模拟就成 为求解问题的唯一或主要手段了。 目前，高性能计算已广泛应用于国民经济各领域，发挥着不可替代的重要作 用： a) 基础学科中深入的知识发现，问题规模的扩大和求解精度的增加需要更 高性能的计算资源。例如，计算立体力学、计算材料学、计算电磁学。 b) 多学科综合设计领域中大量多部门协同计算需要构建高性能的综合平 台。例如，汽车设计、船舶设计。 c) 基于仿真

5、的工程科学结合传统工程领域的知识技术与高性能计算，提供 经济高效地设计与实践方法。 例如，基于仿真的医学实践、 数字城市模拟、 核电、 油田仿真工具、新材料开发、碰撞仿真技术、数字风洞。 Xxxxx 第 3 页 d) 高性能计算提升众多行业服务、决策的时效性，提高经济效益。例如， 实时天气预报、 城市交通控制、视频点播服务、 动漫设计、 网络游戏、基于 RFID 的货物跟踪、智能电子商务。 e) 数据密集型应用需要高性能数据处理，以应对数据爆炸式增长带来的难 题。例如，高能物理实验数据处理、 遥感数据处理、 商业智能、生物信息学、 RFID 数据挖掘、金融业分析抵押借贷、移动电话流量分析。 1

6、.2 建设内容 高性能计算平台是面向全校提供高速计算服务的公共计算平台，主要运行科 研计算任务， 并且能够根据应用任务对硬件资源的不同需求，动态分配和调整平 台资源，管理计算作业。用户通过校园网或VPN 远程提交计算作业、获取计算结 果，并能够根据权限调整，实现权限控制，硬件细节对用户透明。用户界面实现 图形化交互窗口和 SSH 登陆相结合方式。 平台的主要硬件设备有：管理节点、计算节点、存储IO节点、 Infiniband交 换机、高速存储、千兆以太网交换机；软件方面有：64位Linux 操作系统、并行 开发环境、并行文件系统、作业调度管理系统、硬件集群管理系统等，利用高速 infiniba

7、nd网络互联构成计算环境， 通过并行计算支撑软件和作业调度系统使它 们协同工作。 平台支持同时运行 Ansys、Fluent 、Gauss 、Materials Studi 、ADMS 、Opera、 HFSS 、MTSS 、MAGIC 、CST 、Icepak 等商业软件，并支持 C （C+ ）、Fortran77/90 等语言的编译和运行环境，以保证学院自编应用程序的计算求解需求。 1.3 设计原则 高性能计算平台应具有处理大规模的复杂运算，尤其是浮点运算的能力。它 将为全校提供优化设计、分析、验证的手段，最终实现提高科研质量、缩短科研 周期、降低科研成本。因此，方案设计以用户现场测试结果

8、为基础，根据用户对 Xxxxx 第 4 页 未来应用模式及业务量需求预测为前提，强调高性能以及可行、合理和低风险。 架构设计和系统选型遵循以下原则： 先进性 本系统方案所采用的技术既要符合业界的发展方向，又要在未来几年内仍具 有很高的技术先进性， 保持在同类系统中的领先地位。这样有利于提高整个系统 的计算与处理能力，保证系统的使用周期。 有限投资获取最大计算性能 在有限的投资前提下，高性能计算平台应具有优秀的处理能力，它不仅具有 符合要求的峰值性能 (Peak Performance) ，更重要的是应具有稳定的应用性能 （sustained performance）。各种复杂的研究课题在本系统

9、中能够得到准确、 快速的计算结果。 可扩展性 随着对计算机系统性能的要求不断提高，高性能计算平台应具有较强的扩展 能力，可以方便地实现节点增加、系统扩充和升级，以有效保护前期投入。建议 采用第三方集群管理和作业调度专业软件，集成安装与硬件设备无关， 计算节点 的扩展不受硬件品牌限制。 开放性和兼容性 系统应符合公认的工业标准，包括体系结构，硬件，I/O, 网络，操作系统， 开发环境和开发工具等。便于和其他平台上的系统互操作。 应用开发软件丰富 本系统的平台上应具有丰富的软件资源，能够提供研究课题的解决方案和相 应的软件系统。例如高性能计算方面的开发环境和应用开发软件，linux 、专业 平台软

10、件商 , 不仅提供处理节点间的协调和通信的中间件，使整个系统节点能够 真正实现合作，负载均衡，还能针对不同应用需求，提供一系列并行计算应用。 性价比优越 本系统在性价比方面在同类系统中应具有明显的优势，能满足用户应用的同 时，充分考虑后期运维费用，尽量采用绿色节能型设备，降低运维功耗，比如采 Xxxxx 第 5 页 用刀片式服务器。 管理简单，用户易用 尽量减少数据中心的设备管理难度，简化架构，底层硬件对用户透明，本着 不改变设计师原有使用原则的基础上选择合适的软件架构，突破集中式资源部署 应用难的屏障，实现应用简单易用的目的。 综上所述，本项目的建设，在遵循统一领导、统一规划、统一标准、统一

11、组 织的建设原则之下，最大程度上保证系统按照预期的目标顺利实施。 2 总体架构 根据我们对学校高性能计算平台的需求调研分析，以及其它高校的高性能计 算实验室的考察，结合实际应用需求、当前计算规模大小、 存储需求量等一系列 的因素，充分结合总体设计原则，针对学校高性能计算应用的特点，从满足应用 需求的角度出发，建立一个高可扩展、易管理的Cluster 高性能计算平台环境。 主要是基于计算网络、 存储网络、管理网络、 监控网络的一体化网络建设的高性 能计算集群系统： 计算网络 采用Cluster 、高速 InfiniBand计算网与千兆以太管理网协同工作的架构。 计算节点采用刀片服务器。 存储网络

12、 大部分数据都存放在 FC 架构存储系统中，选用低端扩展容量大的磁盘阵列， 利用SAN 交换机互联， 通过存储 I/O 节点为高性能计算平台提供存储服务，便于维 护、管理和备份。 管理网络 通过资源调度管理软件管理整个高性能计算平台。用户通过网络远程访问高 性能计算平台，获取高性能计算平台的计算资源进行求解运算。 监控网络 Xxxxx 第 6 页 通过基于硬件设备的专业集群管理软件对硬件系统进行集中管理、配置，减 轻管理维护人员的工作负担，为运维人员提供高效便捷的管理方式。 硬件部分应包括： 计算节点（集群节点和小型机节点） 管理节点 I/O 节点 高速互连系统 软件部分应包括： 操作系统 集

13、群管理软件 作业调度系统 并行文件系统 并行程序开发环境 数学库、并行库 标准应用软件 客户应用软件 3 高性能计算平台硬件系统 3.1 平台架构图 平台整体架构图如下： 根据应用需求，小型机 待今后扩展建设。 Xxxxx 第 7 页 采用 32节点的 Cluster高性能计算集群（每个计算节点Intel Xeon X5650 2Processors/6Cores/24G内存） ，主要运行分布式计算应用，利用MPI现实并行 计算，提高应用效率。 目前采用 1 台管理节点作为高性能计算平台的管理服务器，以后根据应用需 求将管理节点增加到2 台。 目前采用 2 台存储节点作为高性能计算平台的存储I

14、/O 节点，以后根据应用 需求扩展存储 I/O 节点。 32 节点高性能计算集群节点、 2 节点 I/O 服务器集群、 1 台管理节点均通过 带宽 20Gbps Infiniband高速网络互连。计算集群节点通过20Gbps Infiniband 网络连接 I/O 节点，通过 I/O 节点的专门并行文件系统访问存储。 I/O 节点通过 4Gbps光纤通道卡连接至磁盘阵列环境中，配置1 台磁盘阵列 （可选 HP P2000G3FF 或 IBM DS3400 ） ，10TB可用容量，以满足高性能计算环境 对存储性能和空间的巨大需求，I/O 节点存储链路完全多路径融合，与磁盘阵列 见无单点。 高性能

15、计算平台全部通过管理节点上的高性能计算资源管理平台软件对用 户发布使用。管理节点通过1000Base-T 千兆以太网连接到校园网络中，各院系 通过该网络Web 使用高性能计算平台资源，基于用户原有使用习惯的图形化交 Xxxxx 第 8 页 互界面，并最终通过网络可视化的查看计算过程，获得计算结果。 3.2 主要设备选型 计算节点 采用 32节点的刀片服务器作为计算节点 （每个节点采用 2 Processors Intel Xeon X5650/6 Cores/18GB memory） ，Intel六核处理器在中规模的计算量上的 性能相当于同主频四核CPU 的 1.5 倍以上。依据见 Intel

16、提供的数据分析图： 管理节点 采用 1 节点的机架式高端服务器（采用2 Processors Intel Xeon X5650/6 Cores/24GB memory ）作为高性能计算平台的管理节点。 存储节点 采用 2 节点的机架式高端服务器（采用2 Processors Intel Xeon X5650/6 Cores/36GB memory ）作为高性能计算平台的存储I/O 节点。 计算网络 采用至少 2 台 Infiniband高速网络交换机（ 20Gbps无阻塞）刀片机箱内置 Xxxxx 第 9 页 模块，作为高性能计算平台核心计算网络。 详细指标见附表说明。 3.3 Cluster集群系统 Cluster采用 32 台刀片式服务器构成计算节点，通过2 台 I/O 存储节点连 接磁盘阵列， I/O 节点部署专用并行文件系统，负责向计算节点提供共享存储服 务。管理节点部署高性能计算资源管理平台软件，利用应用虚拟化技术，实现用 户通过网络对高性能平台的图形化透明使用，远程接入完全遵照用户原有软件使 用方式，使用习惯。高效、易用的提供高性能平台计算服务。目前用户大量