高性能计算存储：通向成功的模板

《高性能计算存储：通向成功的模板》由会员分享，可在线阅读，更多相关《高性能计算存储：通向成功的模板（17页珍藏版）》请在金锄头文库上搜索。

1、 Dell 高性能计算存储：通向成功的模板 2010年8月 2 结构 | 高性能计算存储：通向成功的模板 | Dell 此白皮书仅用于信息宣传目的，其中可能包含印刷错误和技术方面不够准确的地方。其中的内容按原样提供，不对此提供任何形式的明示或暗示的担保。 2010 Dell Inc. 保留所有权利。在未得到Dell Inc.书面许可的情况下，严禁以任何形式复制本文内容。有关详细信息，请联系戴尔公司。Dell、DELL徽标、DELL徽章、PowerConnect、PowerEdge和PowerVault是Dell Inc.的商标。Intel和Xeon是Intel Corporation在美国和其

2、他国家/地区的注册商标。Lustre是Oracle America, Inc.的注册商标。Infi niBand是InfiniBand Trade Association的注册商标。Linux是Linus Torvalds的注册商标。CommVault和Simpana是CommVault Systems, Inc.的商标或注册商标。Microsoft、Windows、Windows Server和Active Directory是Microsoft Corporation在美国和/或其他国家/地区的商标或注册商标。本文档中可能使用其他商标和商业名称来表示拥有商标和商业名称所有权的公司或其商品。

3、Dell Inc. 对除自己拥有之外的商标和商业名称放弃任何专有权益。目录 1.0 介绍 2.0 并行处理、HPC和存储 3.0 用于HPC的存储模板 3.1 HPC联机存储（在线存储）：NFS是候选方案之一 3.2 HPC联机存储：戴尔NFS存储解决方案 3.3 HPC快速擦除存储（fast scratch storage）：介绍并行文 件系统 3.4 Lustre并行文件系统 3.5 HPC快速擦除存储：戴尔 | Terascala HPC 存储解决方案3.6 HPC快速擦除存储：创建您自己的存储3.7 HPC数据归档选项4.0 HPC存储：利用戴尔模板3 结构 | 高性能计算存储：通向成

4、功的模板 | Dell 1.0介绍 作为一种能够有效解决科研、教育、研究和业务设置方面诸多难题的一种方法，高性能计算 (High-performance computing, HPC)已经为大家所熟知。在很多情况下，它使用户能够选择使用基于计算模式和解决方案的虚拟机来替代费用高昂的物理实验、设计、建立样机原型和测试等工作。它的用途极其广泛，涵盖汽车和飞机设计和测试、密码分析、化妆水及清洁剂容器等日用品的商品检验、天气预报、石油勘探、药物开发乃至飓风疏散过程中的交通情况等多个领域。上述这些领域都贯穿着共同的主线，即它们都需要生成、处理和分析海量数据。 基于标准的HPC技术如今要解决的计算难题极为

5、复杂，其复杂程度与十年前要解决问题的难度相比要高出多个数量级，并且复杂程度仍在不断增加，不断挑战技术的极限。如何存储、处理和管理这些系统产生的海量数据，已经成为前所未有的重大难题。要有效化解这些难题，对于技术方面专业技术和资源有限的小型设施来说管理底层技术依然困难重重。HPC兑现了其承诺：通过使用在基于标准的处理器、网络和存储技术组件上运行的开源软件解决方案，造就出能够解决复杂计算难题的解决方案。在涵盖各行各业的HPC庞大用户群体当中，Dell凭借能够提供用于计算的功能强大的可靠系统，以及坚实的软件堆栈而享誉盛名。现在这些 用 户 可 以 依 靠 戴 尔 PowerVault存 储 系 列 产

6、 品 放 心 工 作 ， 就 像 他 们 以 往 一 直 信 赖 戴 尔PowerEdge服务器一样。另外，更多的存储功能也添加到了现有的屡获殊荣的HPC解决方案中，使用户能够真正动态地从中进行自由选择，从而切实满足他们的研究需要。作为一家解决方案提供商和最出类拔萃HPC技术的集成商，戴尔凭借自身深厚的知识和专业技术，能够帮助HPC用户构建、部署和支持高效、经济合理的HPC计算、联网和存储解决方案而无需考虑用户装置的规模大小。4 第1节 | 高性能计算存储：通向成功的模板 | Dell 集群计算不断发展，并且即便是最一般的部门和工作组HPC系统的计算能力也相当可观，因而造成了存储架构挑战。传统

7、的存储方法是通过一个或多个服务器，使用网络文件系统(Network File System, NFS)来导出数据，而这些服务器是通过存储区域网络(SAN)或直接连接存储(DAS)与存储连接。这种做法现在已经难以满足HPC相当大部分客户对性能和扩展性发展方面的需求。客户或许也可以选择高性能并行解决方案，不过相对于NFS而言，这种解决方案不仅更为昂贵，并且创建和维护难度极大。因此，许多中型HPC设施都在想方设法满足其应用程序对I/O的需求。从事研究计算的人士认识到，对经济高效的、高性能的、扩展性强的、灵活机动的并且易于管理的集中性存储的迫切需求，可能是当今HPC设施面临的最艰巨挑战。根本上来说，H

8、PC依赖于计算能力、带宽和存储三个方面。这三方面因素的相互依赖性能够决定HPC解决方案的计算和数据容量。为了能够良好扩展，HPC各应用程序在分组成计算集群的无数客户端机器之间分发它们的计算能力。HPC集群规模大小不一，规模大的有数十个或数以千计的客户端，I/O总需求可达每秒数十到数百GB；而规模小的是I/O性能要求极低的四节点集群。如果不考虑尺寸规模大小，所有HPC集群都有许多共同的要求。随着CPU核的数量持续增加，对数据吞吐量的需求也随之攀升，需要在从存储和计算节点之间存取数以GB计或甚至数以TB计的数据。在绝大多数情况下，无论是用于计算还是存储用途，数据传输都决定系统互连设计。由于网络带宽

9、在可用性和速度方面均持续提升，并且延时也在缩短，所以千兆以太网(GigE) 和 InfiniBand (IB)连接性已经司空见惯，万兆以太网（10GigE）也变得越来越容易承受。随着计算集群和带宽的发展，需要大量的存储和/或高性能存储以充分发挥其潜能。随着应用程序生成和处理的数据量日益增多，并且集群中的每个主机都需要以统一的方式访问任何后端数据，这就变得尤为重要了。应用程序的要求使得规模适当的计算集群（核的数量）、网络带宽/延时和存储之间的相互依赖性不断提高。尽管这会加大HPC系统的设计难度，不过同时也会增强灵活性，这样就能“调优”HPC系统以提升性能和/或降低成本。集群的一大特点就在于这样的

10、灵活性，有了它，就能够将多个组件2.0并行处理、HPC和存储 5 第2节 | 高性能计算存储：通向成功的模板 | Dell 为HPC应用程序创建输入数据。尽管此项任务对存储性能的要求会有所不同，不过高度可靠这一点是基本的要求。如果您丢失了应用程序的输出数据，您通常可以通过重新运行应用程序，来重新创建丢失的数据。不过，如果丢失了输入数据，您恐怕需要花费大量的时间和金钱来重新生成这些数据；您甚至可能还必须要重新运行整个实验。应用程序执行数据I/O和输出数据后处理/分析。此阶段初始部分的重点执行应用程序，读取/写入数据要确保I/O性能与应用程序性能相称，这样任务就能够在合理的时间内完成。这可能需要使

11、用高性能可扩展存储系统，具体取决于吞吐量和IOPS要求。在此阶段的第二个环节，在应用程序运行之后，输出数据并将其存储在可靠的存储系统上以供分析。在I/O要求相当低的时候，数据被移回至主存储。在此情况下，主存储是可靠的存储区域，该区域在发生硬件故障时通常会被备份。将数据归档。绝大多数用户想要通过将数据存储在磁带、磁盘或两者的组合之上的方法，以联机方式对数据进行可靠的归档。这样做，可以释放出主存储空间，使之用于进行当中的应用程序和项目，同时仍能保证数据可供访问，以防应用程序或用户日后需要使用数据。通常情况下，与主存储需求相比，对归档存储的容量要求要高得多，不过对性能的要求要低得多。HPC流程的每个

12、阶段创建输入数据，运行应用程序以生成输出并进行分析，然后将结果归档都有各自独特的一套要求。不仅如此，加上成本压力日益凸显，设计建造单一解决方案的难度越来越大。1.2.3.6 第2节 | 高性能计算存储：通向成功的模板 | Dell 组合在一起，从而使整个系统更有效。存储也不例外，其中通过适当组合存储组件和解决方案，可以切实满足不同的应用程序和工作负载产生的不同需求。HPC系统中数据的基本时间表有几个不同阶段：我们常说工匠“做合适的工作需要选择正确的工具”。虽然这句话司空见惯，但它却道出了设计和建造HPC系统的精髓。一直以来，HPC的计算部分都是用这种方法选择处理器和内存并设计互联结构，规定软件

13、堆栈和工具。当然，这一切都和存储密不可分。要实现性能、成本、可管理性、可扩展性和数据完整性的良好平衡，根据不同情况有几种存储方案可供选择。例如有些数据连续几个月都没有被存取，那么是否所有数据都需要用快速存储?又或者是否有必要用一个容量大但性能低的存储方式保留数据而不是运行应用程序?不同的情况应该使用不同的存储方案解决。在本文接下来的部分，我们将向大家介绍能够用于解决HPC存储难题的三个存储解决方案模板：(1)联机永久存储（有时被称为主存储），(2)快速擦除存储，(3)归档存储。每一种解决方案都将对整个数据生命周期（从产生到最后归档，打个比方说就是从摇篮到坟墓）起作用。图1说明这些存储工具如何适

14、应IDC（International Data Corporation，国际数据公司）的HPC分类和吞吐量框架。3.0用于HPC的存储模板 图1 概念化视图说明存储工具如何符合一定规模（尺寸）和吞吐量框架扩展超级计算机分区擦除空间： 戴尔| Terascala HPC 存储解决方案部门归档工作组工作站（理论上不扩展）500MB/秒 吞吐量数据归档联机存储： 本地数据，主目录擦除空间： 应用程序数据7 第3节 | 高性能计算存储：通向成功的模板 | Dell 有了这三种存储解决方案，您可以很灵活地构建经济高效的HPC存储解决方案。如果你需要一种以上的存储方式，您可以轻松地以经济高效的方式对其进行

15、扩展。例如，如果您的应用程序和用户不需要快速擦除存储，则您就可以不用付费购买并行I/O存储方案。接下来，我们将要讨论第一种方案联机存储，它专注于提供合理的性能表现，尤其是为小型系统。另外，如果大型系统对用户主目录和应用程序目录的性能没有迫切的需求，那么联机存储也是一个不错的选择。HPC的计算节点几乎总是需要一个用于应用程序和工具常见的文件系统。NFS为这个常见的文件系统提供了一个简单易用、稳固的解决方案。基于NFS标准的存储解决方案被广泛用Linux环境中的HPC集群，因为NFS简单易操作并且历经考验，故障模式为公众所知，并且几乎在Linux每一发行版本中都是标准组件。这种特性让NFS成为了许

16、多HPC装置的联机存储方案的一个较好的选择。根据2009年IDC对110家HPC网站所做的调查1，NFS是最常用的文件系统。在已部署的91个最大型HPC系统中，56%的系统使用了NFS。与此类似，在最近部署的64个HPC系统中，64%的系统使用了NFS。此调查显示出NFS作为最为重要的文件系统协议之一在HPC部署中的重要性。无论以下哪种情况，NFS 都可以为HPC集群提供一个稳定的文件系统方案：(1)集群应用程序的 I/O 要求可以通过单个或者多个集群服务器得到满足，(2)计算节点数量与集群的连接后台存储的带宽相称，(3)存储容量能够满足集群需要，(4)您需要一个可靠、容易理解并且易于管理的存储。理想状态下，如果应用程序的文件访问模式是N个用户访问N个文件 (N-to-N)，而且并行应用程序只有单个进程执行I/O，在这种情况下NFS作为主应用程序存储运行状况非常良好。许多使用NFS作为主存储的应用程序都能符合要求并运行得非常好。目前的最佳实践是无论HPC计算集群多大，统一使用10Gb以太网或者InfiniBand从N