《Infiniband新一代集群系统的新宠》由会员分享，可在线阅读，更多相关《Infiniband新一代集群系统的新宠（5页珍藏版）》请在金锄头文库上搜索。
1、Infiniband:新一代集群系统的新宠【IT168 专稿】InfiniBand 在 2001 年完成第一颗芯片的流片之后，关于这种技术的种种话题就热闹起来。在 HPC、存储等领域经历了起起伏伏，为了给大家一个清楚的对InfiniBand（以下简称为 IB）的认识，本文对该技术以及目前的应用情况进行一个综述性的介绍。 IB：新一代集群的新宠传统的集群架构一般需要有三套网络来支持集群中不同数据的传输：存储、管理（TCP/IP ）和计算（ MPI） 。问题是系统日常硬件管理工作非常复杂，一旦需要对系统进行扩展，意味着巨额的成本投入和工作量，例如需要增加 10 个节点，即需要增加 30 片卡，同时
2、增加大量的线缆，需要对三套网络进行重新配置。产生该问题的根源在于这是传统集群的特点 以计算节点为核心进行构建集群，如图 1。图 1 以计算节点为核心的传统集群所以，为了解决传统集群中由于采用计算节点为核心的网络架构所带来的“性能差，结构复杂和扩展能力差”等问题，业界提出了集群架构转变为以交换为核心的体系架构。然而，为了满足这种要求，必须要有一套开放、高带宽、低延迟、高可靠以及满足集群无限扩展能力的交换网络和技术，IB 技术应运而生。图 2 是以交换为核心的新型集群架构。即节点之间采用 IB 互联，直接连接到 IB 交换机，而其他所有网络比如存储、以太网、FC等网络都通过 IB 交换扩展，即直接
3、形成了以 IB 交换机为核心的集群系统。图 2 以交换为核心的集群系统IB：发展历程潮起潮落IB 是由 IB 行业协会所倡导的，IBTA (Infiniband Trade Association)于 1999 年成立，协会先后主要成员有：康柏、戴尔、惠普、IBM、Intel、微软和 Sun。从历史的角度看，IB代表了两种计算潮流的融合：下一代 I/O（NGIO ）和未来的 I-O（FIO） 。大部分 NGIO 和FIO 潮流的成员都加入了 IB 阵营。IB 发展也是经历了两次浪潮，当 IB 第一次提出时受到了主流服务器生产链上的厂商的一致青睐和热捧，但由于协议的问题以及软件支持的问题，以及最
4、初的定位问题，导致应用受到限制，包括 Intel 等厂商一度撤出投资。但随后在 2004 年 IB 调整了定位，立足于计算机群的应用，主要在服务器之间以及同存储设备的高速互联，同时在软件方面，成立了开源的 OpenIB 组织，提供软件管理和驱动等方面的支持，甚至推出了 IP over IB 的协议转换，可以直接在 IB 设备上跑 TCP/IP 协议，这样在 HPC 领域 IB 又得到欢迎，图 3 是目前全球 HPC top500 的超级计算机采用 IB 网络的趋势，从图中可以看出 IB 在 HPC 领域的应用中正在迅速增加。图 3 IB 互联在 top500 上席位在不断增加IB 技术架构的发
5、展新趋势Infiniband 架构(IBA) 正在朝集群等高端计算应用领域发展，这些应用要求有故障恢复、高可用性、可靠性及耐用性等特性。IBA 支持模块至模块以及机箱至机箱互连，可以X1、X4 及 X12 三种形式应用并采用 2.5GHz 时钟，目前 Infiniband 主流技术为 DDR 技术，所支持的吞吐量为 5、20 或 60Gbps，占用 8B10B 编码开销。在下一代的技术采用 QDR，带宽将再次提高一倍，最高可达 120Gbps。为提供必要的 QoS，该标准还提供了 16 级可映射到 16 个服务层的虚拟通道。基于信用的流控制及注入速率控制机制，被用来提供必要的拥塞管理。 IB
6、目前推荐 fat-tree（胖树结构）或者 3d-TOUS 连接，采用网络无阻塞技术，可以使每个节点间通讯无阻塞。它定义了用于可靠消息传送(发/收以及 DMA)的硬件协议，但未定义消息内容。硬件协议允许从操作系统的内核及用户空间来传送数据。Infiniband 支持诸如配置与资产管理、错误报告、性能指标收集以及拓扑管理等结构服务。它天生就使用 IPv6 包头来在 IBA 结构与互联网之间有效地交换数据。该架构具有更高的可扩展性、可用性、隔离度以及更少的 CPU 使用率，而且还支持互联网技术。它以单独控制与存储器接口来控制数 据进出节点的存储器。图 4 是 IB 原型的分层架构情况，从硬件层到上
7、层软件应用层。图 4 IB 分层架构剖析 IB 网络组成结构为了使 IB 有效地工作，IB 标准定义了用于系统通信的多种设备，包括信道适配器、交换机和子网管理器。如图 5 所示为 IB 网络以及各部件。图 5 IB 网络组成部分举例1）IB 信道适配器：用于 IB 结构同其他设备之间的连接，IB 标准有两种类型的信道适配器，一种是主机信道适配器（HCA） ，另外一种是目标信道适配器（TCA） 。 HCA 卡提供了一个对于 Web server 等主 CPU 和存储子系统的接口，并支持 IB 结构所定义的所有软件动词。这里所说的软件动词是指对客户软件和 HCA 功能之间接口的一种抽象定义。软件动
8、词并不为操作系统指定 API，但它定义了操作系统厂商可能用来开发适用应用程序接口的操作。而 TCA 提供 IB 到 I/O 设备的连接。这种 IO 卡可以是一种网络接口卡（NIC） ，它包含了每种设备特定操作所必需的部分功能。2）IB 交换机：是 IB 结构中的核心部件，类似千兆以太网中的网络交换机，一般含有多个端口，它能根据本地路由器包头所含的第二层地址（本地 ID/LID）将数据包从一个端口送到另一个端口。交换机只是对数据包进行管理，而自己并不生成或使用数据包。同信道适配器一样，交换机也需要子网管理代理（SMA）以响应子网，管理数据包。交换机可以通过配置来实现数据包的点播和组播。3）IB
9、线缆：定义了三种链路速率，分别为 1X，4X ，12X，此标准同时也定义了铜导线和光纤在内的物理介质。此外，还定义了用于铜缆和光纤标准连接器和电缆。铜缆上 1X链路采用 4 线差分指令（每个方向 1 对差分线） ，可提供SDR2.5Gbps，DDR=5.0Gbps，QDR=10Gbps 的全双工的连接。其他链路速率都是建立与1X 链路的基本结构上，一条 IB 1X 链路的理论带宽如上文所述，但由于采用 8b/10b 解码，所以实际数据速率是 2/4/8Gbps，由于链路具有双向性，所以全双工的数据速率为4/8/16Gbps。4）子网管理器：对于本地子网进行配置并确保能够连续运行，所有的信道适配
10、器和交换机都必须实现一个 SMA，该 SMA 同子网管理器一起实现对通信的处理。每个子网必须至少要有一个子网管理器来进行初始化管理以及在链路连接或者断开时对子网进行重新配置。通过仲裁机制来选择一个子网管理器作为主子网管理器。其他子网管理器工作在待机模式，在每个处于待机模式下的子网管理器都会备份次子网的拓扑信息，并检验此子网是否能够运行。如主子网管理器发生故障，一个待机子网管理器接管子网管理以保证不间断运行。IB：在竞争中不断发展IB 网络有着高带宽、低延迟的特点，目前可以直接连接服务器、存储设备以及以太网络。相对于其他网络专网专用而言，IB 提供了比较完备的虚拟化支持，可以在一套网络中同时进行
11、管理、存储、高速交换的操作，并且提供开放的标准，下表是 IB 相对于10Ge，Myrinet，Quadircs 等高速网络的比较，从表一中可以看出 IB 有着比较明显的优势，其将来的发展势必更加迅猛。 目前提供 IB 产品的公司有 Mellanox，主要的 HCA 芯片以及 Switch 芯片提供商，同时提供 HCA 卡。Sliverstorm 公司提供 HCA 卡，Switch 以及 IB 到 FC 的转换模块等。Topsbin 提供 IB 交换机，目前该公司被 Cisico 收购，也说明了 Csico 对该技术比较看好。同时还有 Voltaire 等厂商都提供 IB 交换机等设备。目前主要
12、产品是 HCA 卡以及 IB 交换机、TCA 模块等。其中主要的芯片提供商为Mellanox，该公司提供 HCA 芯片，24 口交换芯片，同时还提供 HCA 卡，分别有不同接口（pci-x/pci-e） ，不同速率（SDR，DDR）等，通用 HCA 卡中最大带宽为 20Gbps 的 X4 DDR 或者 X8 SDR 的 HCA 卡，其实目前的限制主要取决于 PCI-e 的带宽限制，最新的HCA 芯片目前可以达到 QDR 的速度，也就是说每一个 link 目前可以达到 10Gbps，如果是基本的 X8 QDR 的接口最大支持 80Gbps。对于 IB 交换机，厂商比较多，有 Cisco（收购了 Topsbin 提供 IB 交换机产品线） 、Silverstorm、Voltaire 等厂家，交换机有从 24 口到 288 口不等。而 TCA 模块一般由存储厂商，或者其他设备厂商在自己的产品中提供模块接口，可以直接连接到 IB 交换机上。线缆和连接器的提供商也有很多，包括TYCO，MOLEX，FUJUCHU 等厂商。目前以上提到的产品都可以在市场上直接可以买到。从上文的介绍可以看出，IB 网络经过了几年的发展和重新定位，目前定位于计算网络、存储网络的应用，同其他计算网络比较而言具备带宽、延迟和性价比的优势，最终将会得到越来越广泛的应用。
