《高性能计算平台建设方案》由会员分享，可在线阅读，更多相关《高性能计算平台建设方案（21页珍藏版）》请在金锄头文库上搜索。
1、高性能计算平台建设方案1.验证理论、发展理论的重要工具，另一方面，它是在理论的指导下发展实 用技术，直接为经济发展服务；计算科学的发展也有相当悠久的历史，只是在计 算机这一强大的计算工具问世之前，计算只能利用人类的大脑和简单的工具，计 算应用于科学研究有天然的局限性，限制了它作用的发挥；随着计算机技术的发 展，使用科学计算这一先进的技术手段不断普及，逐渐走向成熟。科学计算可以 在很大程度上代替实验科学，并能在很多情况下，完成实验科学所无法完成的研 究工作。科学计算也直接服务于实用科技，并为理论的发展提供依据和机会。在 许多情况下，或者理论模型过于复杂甚至尚未建立，或者实验费用过于昂贵甚至 不允
2、许进行，此时计算模拟就成为求解问题的唯一或主要手段了。目前，高性能计算已广泛应用于国民经济各领域，发挥着不可替代的重要作用：a) 基础学科中深入的知识发现，问题规模的扩大和求解精度的增加需要更高性能的计算资源。例如，计算立体力学、计算材料学、计算电磁学。b) 多学科综合设计领域中大量多部门协同计算需要构建高性能的综合平 台。例如，汽车设计、船舶设计。c) 基于仿真的工程科学结合传统工程领域的知识技术与高性能计算，提供 经济高效地设计与实践方法。例如，基于仿真的医学实践、数字城市模拟、核电、 油田仿真工具、新材料开发、碰撞仿真技术、数字风洞。d) 高性能计算提升众多行业服务、决策的时效性，提高经
3、济效益。例如， 实时天气预报、城市交通控制、视频点播服务、动漫设计、网络游戏、基于 RFID 的货物跟踪、智能电子商务。e) 数据密集型应用需要高性能数据处理，以应对数据爆炸式增长带来的难 题。例如，高能物理实验数据处理、遥感数据处理、商业智能、生物信息学、RFID 数据挖掘、金融业分析抵押借贷、移动电话流量分析。1.1 建设内容高性能计算平台是面向全校提供高速计算服务的公共计算平台，主要运行科 研计算任务，并且能够根据应用任务对硬件资源的不同需求，动态分配和调整平 台资源，管理计算作业。用户通过校园网或VPN远程提交计算作业、获取计算结 果，并能够根据权限调整，实现权限控制，硬件细节对用户透
4、明。用户界面实现 图形化交互窗口和SSH登陆相结合方式。平台的主要硬件设备有：管理节点、计算节点、存储IO节点、Infiniband交 换机、高速存储、千兆以太网交换机；软件方面有：64位Linux操作系统、并行 开发环境、并行文件系统、作业调度管理系统、硬件集群管理系统等，利用高速 infiniband网络互联构成计算环境，通过并行计算支撑软件和作业调度系统使它 们协同工作。平台支持同时运行Ansys、Fluent、Gauss、Materials Studi、ADMS、Opera、 HFSS、MTSS、MAGIC、CST、Icepak 等商业软件，并支持C (C+)、For tran77/9
5、0 等语言的编译和运行环境，以保证学院自编应用程序的计算求解需求。1.2设计原则高性能计算平台应具有处理大规模的复杂运算，尤其是浮点运算的能力。它 将为全校提供优化设计、分析、验证的手段，最终实现提高科研质量、缩短科研 周期、降低科研成本。因此，方案设计以用户现场测试结果为基础，根据用户对 未来应用模式及业务量需求预测为前提，强调高性能以及可行、合理和低风险。架构设计和系统选型遵循以下原则：先进性本系统方案所采用的技术既要符合业界的发展方向，又要在未来几年内仍具 有很高的技术先进性，保持在同类系统中的领先地位。这样有利于提高整个系统 的计算与处理能力，保证系统的使用周期。有限投资获取最大计算性
6、能在有限的投资前提下，高性能计算平台应具有优秀的处理能力，它不仅具有符合要求的峰值性能(Peak Performance),更重要的是应具有稳定的应用性能 (sustained performance)。各种复杂的研究课题在本系统中能够得到准确、 快速的计算结果。可扩展性随着对计算机系统性能的要求不断提高,高性能计算平台应具有较强的扩展 能力,可以方便地实现节点增加、系统扩充和升级,以有效保护前期投入。建议 采用第三方集群管理和作业调度专业软件,集成安装与硬件设备无关,计算节点 的扩展不受硬件品牌限制。开放性和兼容性系统应符合公认的工业标准，包括体系结构，硬件，I/O,网络，操作系统， 开发环
7、境和开发工具等。便于和其他平台上的系统互操作。应用开发软件丰富本系统的平台上应具有丰富的软件资源，能够提供研究课题的解决方案和相 应的软件系统。例如高性能计算方面的开发环境和应用开发软件，linux、专业 平台软件商, 不仅提供处理节点间的协调和通信的中间件，使整个系统节点能够 真正实现合作，负载均衡，还能针对不同应用需求，提供一系列并行计算应用。性价比优越本系统在性价比方面在同类系统中应具有明显的优势，能满足用户应用的同 时，充分考虑后期运维费用，尽量采用绿色节能型设备，降低运维功耗，比如采 用刀片式服务器。管理简单，用户易用尽量减少数据中心的设备管理难度，简化架构，底层硬件对用户透明，本着
8、 不改变设计师原有使用原则的基础上选择合适的软件架构，突破集中式资源部署 应用难的屏障，实现应用简单易用的目的。综上所述，本项目的建设，在遵循统一领导、统一规划、统一标准、统一组 织的建设原则之下，最大程度上保证系统按照预期的目标顺利实施。2 总体架构根据我们对学校高性能计算平台的需求调研分析，以及其它高校的高性能计 算实验室的考察，结合实际应用需求、当前计算规模大小、存储需求量等一系列 的因素，充分结合总体设计原则，针对学校高性能计算应用的特点，从满足应用 需求的角度出发，建立一个高可扩展、易管理的Clus ter高性能计算平台环境。 主要是基于计算网络、存储网络、管理网络、监控网络的一体化
9、网络建设的高性 能计算集群系统：计算网络采用Clus ter、高速InfiniBand计算网与千兆以太管理网协同工作的架构。 计算节点采用刀片服务器。存储网络大部分数据都存放在FC架构存储系统中，选用低端扩展容量大的磁盘阵列， 利用SAN交换机互联，通过存储I/O节点为高性能计算平台提供存储服务，便于维 护、管理和备份。管理网络通过资源调度管理软件管理整个高性能计算平台。用户通过网络远程访问高 性能计算平台，获取高性能计算平台的计算资源进行求解运算。监控网络通过基于硬件设备的专业集群管理软件对硬件系统进行集中管理、配置，减 轻管理维护人员的工作负担，为运维人员提供高效便捷的管理方式。硬件部分应
10、包括：计算节点（集群节点和小型机节点）管理节点 I/O节点高速互连系统软件部分应包括：操作系统集群管理软件作业调度系统并行文件系统并行程序开发环境数学库、并行库标准应用软件客户应用软件3高性能计算平台硬件系统3.1平台架构图根据应用需求，小型机采用32节点的Cluster高性能计算集群（每个计算节点Intel Xeon X5650 2Processors/6Cores/24G内存），主要运行分布式计算应用，利用MPI现实并行 计算，提高应用效率。目前采用1台管理节点作为高性能计算平台的管理服务器，以后根据应用需 求将管理节点增加到2台。目前采用2台存储节点作为高性能计算平台的存储I/O节点，以
11、后根据应用 需求扩展存储I/O节点。32节点高性能计算集群节点、2节点I/O服务器集群、1台管理节点均通过 带宽20Gbps Infiniband高速网络互连。计算集群节点通过20Gbps Infiniband 网络连接I/O节点，通过I/O节点的专门并行文件系统访问存储。I/O节点通过4Gbps光纤通道卡连接至磁盘阵列环境中，配置1台磁盘阵列 （可选HP P2000G3FF或IBM DS3400），10TB可用容量，以满足高性能计算环境对存储性能和空间的巨大需求，I/O节点存储链路完全多路径融合，与磁盘阵列 见无单点。高性能计算平台全部通过管理节点上的高性能计算资源管理平台软件对用 户发布使
12、用。管理节点通过1000Base-T千兆以太网连接到校园网络中，各院系 通过该网络Web使用高性能计算平台资源，基于用户原有使用习惯的图形化交 互界面，并最终通过网络可视化的查看计算过程，获得计算结果。3.2主要设备选型计算节点采用32节点的刀片服务器作为计算节点(每个节点采用2 Processors IntelXeon X5650/6 Cores/18GB memory)， Intel六核处理器在中规模的计算量上的 性能相当于同主频四核CPU的1.5倍以上。依据见Intel提供的数据分析图：英特尔篁至强5600系列处理器性能摘要通用目曲主流企业嚴务蓋63%技术 计算服务器&k5diricCo
13、wiviAs JiHOp LifeAkldrate ScloncM；宝;hoi區：电50%的性意护”Ja!耳ERF与英特尔唱至强.5500相比性能提升高达63%管理节点采用1节点的机架式高端服务器(采用2 Processors Intel Xeon X5650/6Cores/24GB memory)作为高性能计算平台的管理节点。存储节点采用2节点的机架式高端服务器(采用2 Processors Intel Xeon X5650/6Cores/36GB memory)作为高性能计算平台的存储I/O节点。计算网络采用至少2台Infiniband高速网络交换机(20Gbps无阻塞)刀片机箱内置 模块
14、，作为高性能计算平台核心计算网络。详细指标见附表说明。3.3 Cluster集群系统Cluster采用32台刀片式服务器构成计算节点，通过2台I/O存储节点连 接磁盘阵列，I/O节点部署专用并行文件系统，负责向计算节点提供共享存储服 务。管理节点部署高性能计算资源管理平台软件，利用应用虚拟化技术，实现用 户通过网络对高性能平台的图形化透明使用，远程接入完全遵照用户原有软件使 用方式，使用习惯。高效、易用的提供高性能平台计算服务。目前用户大量应用 运行在Linux64平台上，为了满足当前用户应用与未来发展的需求，采用Linux并行计算集群进行Cluster的建设。计算节点存储节点 盅控網红路引栋
15、网蛙歸嗨理網红路存桶网缆歸Cluster 计算节点采用刀片服务器，节点处理器采用英特尔 至强 X5650 六核核处理器(2 Processors/6 Cores)。Cluster集群系统的计算理论浮点峰值为：2. 66GX4X32X2X6=4085.76 G flops = 4 T flops浮点峰值二CPU主频XCPU核每个时钟周期执行浮点运算的次数X服务器数 量X每个服务器的CPU核数。Cluster计算集群具有以下特点和优势：具有很高的性能价格比。采用先进的Beowulf架构，扩展性好即可扩充 到几百上千个节点，从而获得很高的性能和比较低的总体成本。计算集群全部采用高速的Infiniband网络互连，具有极高的性价比。采用工业标准设备和顺应高新技术发展的趋势。如集群并行计算技术， 开放代码程序。支持Windows平台的应用，具备Linux扩展能力。3.4计算节点计算节点是高性能计算的核心节点，承担着计算、分析、求解的真正任务， 计算节点的性能很大程度上决定整个高性能平台所具有的计算能力，根据调研的 具体情况，充分考虑用户环境，采用刀片式服务器做计算节点，每节点配置 2 Processors/6 Cores处理器，内存根据经验，每core配
