《cpu集群&gpu集群建议方案》由会员分享，可在线阅读，更多相关《cpu集群&gpu集群建议方案（71页珍藏版）》请在金锄头文库上搜索。
1、XXXX 油田公司勘探开发研究院xxxxx 等采购项目 建议方案XXXXXXX 发展有限责任公司2012 年 4 月XXXX 油田勘探开发研究院企业级服务器等采购项目第 1 页目 录第一章第一章概概 述述3 31.1 项目简介项目简介.3 1.2 用户现状用户现状.3 1.3 用户需求分析用户需求分析 .3 1.3.1计算能力需求分析31.3.2技术先进性和稳定性需求分析41.3.3高速稳定的网络需求分析51.3.4存储系统的需求分析51.3.5节能降耗、空间利用的需求分析51.3.6管理简单、维护方便方面的需求61.3.7新旧系统整合的需求分析6 1.4 设计思路设计思路6 1.5 设计原则
2、设计原则6 1.6 设计目标设计目标7第二章第二章技术方案设计技术方案设计8 82.1 总体架构设计总体架构设计 .8 2.1.1 总体架构说明.82.1.2 InfiniBand网络设计及选型102.1.3 新旧集群系统融合.12 2.2 CPU 计算集群方案设计计算集群方案设计13 2.2.1 CPU集群硬件系统说明.142.2.2 CPU集群软件系统说明.16 2.3 GPU/CPU 协同计算集群方案设计协同计算集群方案设计.19 2.3.1 GPU/CPU集群硬件系统说明202.3.2 GPU/CPU协同集群软件系统说明21 2.4 配套存储系统方案设计配套存储系统方案设计.22 2.
3、5 方案的优势方案的优势 23 2.5.1 IBM并行文件系统的优势232.5.2 IBM BladeCenter绿色节能方案的优势.262.5.3 IBM BladeCenter方案的优势.292.5.4 IBM智能系统管理的优势312.5.5 IBM System Director系统管理方案的优势.312.5.6 IBM iDataPlex GPU/CPU协同集群解决方案的优势35 2.6 典型成功案例典型成功案例 .38 2.6.1 IBM集群成功案例382.6.2 XXXX科技相关项目成功案例.39 2.7 设备清单设备清单40第三章第三章主要软硬件产品简介主要软硬件产品简介4444
4、3.1 服务器设备简介服务器设备简介 44 3.1.1 BladeCenter-H44XXXX 油田勘探开发研究院企业级服务器等采购项目第 2 页3.1.2 IBM System X x3650 M3 493.1.2 IBM System X iDataPlex 51 3.2 网络设备简介网络设备简介 54 3.3.1 IBM Mellanox 4036和4036E .54 3.3 存储设备简介存储设备简介 56 3.3.1 IBM DS5020.56 3.4 软件系统简介软件系统简介 62 3.4.1 IBM 并行文件系统GPFS623.4.2 IBM xCAT集群系统管理软件653.4.3
5、 IBM 智能系统管理软件.67XXXX 油田勘探开发研究院企业级服务器等采购项目第 3 页第一章 概 述1.1 项目简介项目简介随着油田勘探开发工作的逐渐深入,油藏地质条件日趋复杂,采集的油藏地震资料的数量成倍增加,数据分析计算要求不断增加,要求承担地震勘探资料处理的计算机系统必须升级换代,采用新计算机网络技术和新的物探资料处理新方法,加快资料处理速度,满足 XXXX 油田勘探开发工作的需要,为实现“近期 500万吨,远期 1000 万吨”的石油勘探开发目标鉴定扎实的物质基础。201X 年 1X 月 1X 日，油田勘探与生产分公司召开了地震处理解释软硬件建设会议，会议决定开展叠前深度偏移、逆
6、时偏移处理等工作的攻关，加快物探技术的引用，推广先进成熟的物探技术，推动国产 Geoeast 在油田的应用力度。根据会议总体要求和部署，XXXX 油田资料处理硬件系统拟进行更新。1.2 用户现状用户现状XXXX 油田勘探开发研究院（简称：研究院）目前用于资料处理的服务器集群有三套，分别是 IBM PC-Cluster、曙光 4000L 集群、SGI Origin2000 硬件并行集群，由于三套集群系统使用年限都很长，故障频繁，导致处理工作效率低下，影响勘探开发工作效率，加之随着地震勘探和资料采集、处理技术的不断发展，导致采集的数据量巨增，相应数据处理时间也大大加长，现有的情况对研究院的处理系统
7、性能有了更高的要求，现有的设备已经不能满足研究院日常工作的需要，因此，急需购进用于地震资料处理的服务器及配套设备，建设采用最新技术、最适宜 XXXX 油田现状的新地震资料集群处理系统。1.3 用户需求分析用户需求分析1.3.1 计算能力需求分析XXXX 油田勘探开发研究院企业级服务器等采购项目第 4 页石油数据处理计算机系统实际上是一个解决算法复杂的高性能计算环境，这种计算环境不仅涉及专用软件性能、而且要涉及计算机系统的综合运算性能。尤其是新的勘探技术不断的应用和开发，一些非常规处理的技术必须使用计算性能极高的计算机系统来实现。当前,油气勘探目标越来越复杂，人们对新的勘探技术如叠前深度域的波动
8、方程偏移，特别是逆时偏移（RTM)等技术的实际应用给于了热切的期盼,但由于运算量极大,常用的 Pc-cluster 机群不能满足要求。未来一段时间内地震勘探技术发展：万道以上地震仪得到广泛应用，高密度单点地震技术，高精度或高分辨率地震勘探技术将成为未来一段时间的主流。由于高精度、大规模地震资料处理技术的应用对高性能计算能力的进一步要求，尤其是逆时偏移、万道资料采集及处理、宽方位角资料采集及处理、三维三分逆时偏移、万道资料采集及处理、宽方位角资料采集及处理、三维三分量勘探资料采集及处理、量勘探资料采集及处理、4D 地震勘探资料处理地震勘探资料处理等技术的应用，将高性能计算推到了一个新的层次，对计
9、算能力要求的提高，需要参与并行计算的核数要求越来越多，通用计算 GPU 的出现使这些技术的应用成为可能。需要用 GPU/CPU 协同并行集群( (简称简称:GPU:GPU 集群集群) )计算技术为海量地震数据处理提供有效途径。目前研究院机房现有三套集群系统，承担着主要的地震资料处理任务，但远远不能满足现状的要求，随着叠前处理的常规化，现有设备已经不能满足生产，因此需要对现有设备进行升级扩展，考虑到地震叠前偏移处理对计算量和 I/O 需求都比较高的特点，用户需采用性能更高的多核高性能集群做偏移处理。因此研究院需要增加二套集群系统，一套用于仅支持 CPU 并行计算不支持 GPU CUDA（统一计算
10、架构）并行计算的地震勘探处理软件，进行大量的基础常规地质勘探开发处理工作，如：叠前时间偏移，以保护用户原有投资，另一套应用于现有支持 GPU/CPU 协同并行处理的地震勘探处理软件，以开展叠前深度偏移、逆时偏移的处理攻关工作。1.3.2 技术先进性和稳定性需求分析地震数据处理计算机系统是一个要求采用最新技术解决专业应用复杂的生产系统，由于其本身应用的特点要求整套计算机系统运行必须稳定、技术必须成熟。这种运行稳定性包括计算机系统与专业软件系统之间的配合、I/O 系统与存储系统之间的稳定性、计算机系统本身的技术成熟性、先进性等诸多内容。XXXX 油田勘探开发研究院企业级服务器等采购项目第 5 页石
11、油行业常用处理软件都是采用 MPI、MPICH 或 PVM 作为并行工具，一个节点的故障都会导致整个计算作业的崩溃，给处理员带来不必要的麻烦。集群系统在 XXXX 油田已经大量使用，积累了大量的处理作业的经验，保证用户集群系统应用级的优化和系统的稳定运行，对于研究院处理作业非常重要。1.3.3 高速稳定的网络需求分析地震处理计算机系统是一套复杂的分布式系统，网络性能是系统性能的关键，地震处理过程中会产生大量的数据交换，一套好的网络解决方案必须包含以下两个条件：1提供线速解决方案，每个计算节点都能够无阻塞的数据交换，这样可以最大程度的减少偏移过程中的数据分发时间，提高常规处理 CPU/GPU 资
12、源的利用率,采用高速 40Gb/s 的 Infiniband 网络。2对集群系统中对关键节点做针对性网络优化，现在主流的应用软件仍然采用 NFS 文件系统，所有计算节点都要通过 NFS 服务器获取数据，因此需要对I/O 节点的网络做相应的优化，另外根据 MPICH 和 PVM 的一些特点，也可以对数据分发节点进行相应的网络优化。1.3.4 存储系统的需求分析当集群架构的高性能服务器的计算能力越来越强时，我们注意到集群系统需要存储的数据也是越来越多，这些数据多为计算过程中的中间数据，这就意味着存储系统必须提供稳定、高速的传输带宽，以保证高速计算的需要。除了中间数据以外，存储系统还需要存储大量的计
13、算结果，这就要求存储系统提供可靠的存储环境。数据的输入/输出一直是影响数据处理的周期的重要因素，使用再快的 CPU也要有高性能的输入/输出系统不断的将数据传送给 CPU/GPU 进行运算。因此必须使用大容量、高性能的磁盘存储系统来提升整套处理系统的性能。基于以上分析，用户需采用 SAN 架构存储系统，同时使用并行文件系统。XXXX 油田勘探开发研究院企业级服务器等采购项目第 6 页1.3.5 节能降耗、空间利用的需求分析随着应用处理作业需求的不断增长，为了满足处理作业的需求，相应的设备也会增多，这将不断占据并消耗用户机房的空间，最终会耗尽用户的空间资源，用户将被迫追加投资，以增加空间面积，因此
14、需利用刀片（blade）服务器或片式（plex）服务器以减少空间占据。大量的服务器增加，线缆增多，即会导致服务器维护困难也会导致整个硬件系统的功耗成倍增长，通过系统化设计采用集中式 42U 机柜、刀片（blade）服务器或片式（plex）服务器专用机柜，可以有效的实现智能化管理，降低设备功耗。1.3.6 管理简单、维护方便方面的需求PC CLUSTER 计算机集群系统是一个由多个节点组成、采用多种并行计算技术构成的复杂的计算机系统，这种集群计算机系统要想实现稳定、高性能的处理地震作业，不仅要解决各节点之间的通讯和延迟，而且还必不可少地有高效、界面丰富、维护容易的管理和诊断软件。各个厂家生产的
15、PC CLUSTER 系统对系统管理与监控是不一致的。简单利用一些 PC 机进行互连，没有精确的连接工艺是很难保证系统稳定运行的。1.3.7 新旧系统整合的需求分析如何与目前现有的计算机处理系统进行整合也是构建集群计算机处理系统的重要需求。这种整合需求包括应用软件的整合、存储资源的整合、I/O 设备的整合等等。用户现有三套集群 IBM PC-Cluster、曙光 4000L、SGI Origin2000 硬件并行集群，整合难度大，可考虑将计算后的结果数据通过核心网络互相拷贝，在各自集群进行数据再加工。1.4 设计思路设计思路依据中石油对石油地质勘探开发工作的要求和规范，选择世界领先的高性能计算
16、集群技术，应用世界一流集群厂商的软硬件技术，规划建设符合 XXXX 石油需要、经济适用、高性能的计算集群，加速 XXXX 油田地质勘探处理工作的进XXXX 油田勘探开发研究院企业级服务器等采购项目第 7 页度，为助产上产服务。1.5 设计原则设计原则1 1）先进性）先进性选择了代表世界先进水平和全球主流趋势的软硬件平台产品，使之不仅能够满足 XXXX 油田研究院目前业务的需要，还能适应未来技术发展的趋势和需要。系统采用 4X Infiniband 网络方案，提供 40Gb/s 带宽，延迟只有 100 纳秒。2 2）灵活性）灵活性根据对解决大问题(Capability computing)和同时运行多个中小型任务(Capacity computing)，实现叠前深度域的波动方程偏移、逆时偏移处理攻关的综合需求，优化系统资源配置比例，实现最大的应用灵活性。3 3）可扩展性）可扩展性在设计上充分考虑到可扩展性需求，提供具有最高可伸缩性的系统，并保护用户现有的投资。本方案的并行文件系统具有无可比拟的扩展性，最大可达 8192 个节点。4 4）稳定性）稳定性整体系统确保稳定、高效、连续地运
