Mellano交换机学习记录

《Mellano交换机学习记录》由会员分享，可在线阅读，更多相关《Mellano交换机学习记录（7页珍藏版）》请在金锄头文库上搜索。

1、Mellanox 交换机学习记录一、 基本术语：1、IPOIB：是在IB网络上跑一个TCP/IP的协议，使用的IB网络， 配置IP地址，但两端都是IB卡。2、EOIB：是在IB网络上跑以太网的协议，配IP地址，但一端是 IB 卡（上行），另一端为以太网卡（下行）简单来讲，IPOIB只需要infiniband的交换机，而EOIB需要用到 bridge X。Bridge X的两个端口，可以同时全部接IB网络，全部接以 太网，1为IB，2为以太网，但不能1接以太网2接IB网。BRIDGE X 的三个以太网口之间互相不通疑问：BRIDGE X是个什么样的产品，1和2端口在哪？3、SRP:SCSI RD

2、MA protocol，是 IB SAN 的一种协议，也被称为 SCSI Rrmote Protocol,其主要作用是把SCSI协议的命令和数据通过RDMA 的方式跑到 Ifiniband 网络上，和 ISCSI 类似。该协议主要是面向存储 方面，提供了一个高带宽，高性能的存储oSCSI协议主要是在主机和 存储设备之间传送命令、状态和块数据。注： RDMA（Remote Direct Memory Access）技术全称远程直接数据存取，就是为了解决网络传输 中服务器端数据处理的延迟而产生的。RDMA通过网络把资料直接传 入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中 而不对操作

3、系统造成任何影响，这样就不需要用到多少计算机的处理 功能。它消除了外部存储器复制和文本交换操作，因而能解放内存带 宽和 CPU 周期用于改进应用系统性能4、MPI:主要面向计算机应用方面，大量的计算，加密解密等， 需要并行计算，在HPC方面应用比较广泛。MPI是帮助用户进行并行 计算的一个开源工具，有自己的标准(MPI1、MPI2等)。它做的是包 括 1、每个节点上起一个进程把程序加载起来运行程序 2、解决程序 起来之后运行过程中各种通讯 并行计算可以理解成如果有 8 个节点 启动MPI之后可以看到8个运行结果,4个节点可以有4个运行结果。 也可以设置ID进行分配任务，一个ID可以包含1个节点

4、，也可以包 含 4 个节点。5、UFM：统一网络架构管理器。软件资源。有两种管理模式：1、 管理模式 2、监控模式。监控模式可以随便在节点或交换机起 SM， 管理模式只允许在自己的服务器起 SM。6、VPI：虚拟协议互联。7、QDR: QuadDataRate，是4倍数据倍率的意思。一般我们说到 QDR 都是指速率达到 40G/S, SDR 为 10G/S, DDR 为 20G/S,QDR 为 40G/S, FDR 为 56G/S。疑问：怎么理解凭借 VPI 的灵活性，任何标准的网络、集群、存储 和管理协议均可在利用整合软件堆栈的聚合网络上无缝运行。每个端 口均可在InfiniBand、以太网

5、或数据中心桥接(DCB)架构以及基于融 合以太网的 RDMA (RoCE) 上运行。 VPI 简化了 I/O 系统设计，使得 IT 经理能够更方便地部署可解决动态数据中心的难题的基础架构。二、 MELLANOX 产品了解：1、Mellanox的交换芯片有两种，第四代InfiniScale和第五代SwitchX 交换机芯片2、Mellanox交换机分为边缘交换机(Edge Switches)和导向 级交换机(Director Switches)产品有SX6000系列、IS5000系列，4 系列等。还有其他的交换机比如网关产品，这块还没有具体了解。3、边缘交换机：边缘交换机见下图1，其中 5022

6、、 5023、 5024、 5025、6025交换机没有CPU,没有管理功能，这种低端的边缘交换 机一般面向数据库的产品市场，一般数据库节点只要 2、 4、 8 个左 右。而 5030,5035、 4036、 4036E、 6036、 6005、 6012、 6015、 6018 等属于比较高端的交换机。5030建议节点不超过108个， 5035推荐 管理节点在648个以下。以上交换机中， 6系列以下的交换机链路速 率都是QDR的40GB/S，6系列的交换机最高速率都打到FDR的 56GB/Stdge SwitrliesSXM5SX6012SX&015sxfioie佶期DISK35was136

7、E$X60% IPart12121Hib3S需31 i-2iiMgkibi0耐illiLiiljIUiiiiii呂罰出讯Cipac帀wn為uuw2(iiRTb勺?Ws2顽乜2 72Tb E丄 OSSTbbLiric曲川55砂圭wUEUl征射4WE阳詆巾03+DEFF+耳H2F+奸SFPDEFFCEFFDSFF+Wmigcnrni如NtX恤TzVH他v-4MbE4-3她 1DB肚缶垂i1盛卩如|即凶P除-1-Z1Z|IZP3J H(diridvNqDplsylYscftiGXVKVacvFpn馬dim評KbFkX匸耳M：VH-Vw1 血3&id Bsiiiv-Crhjnel-5勺阳1-Ctali

8、aftfll1S5C22HS5D23IS5024I950SSXBA25PfrirIB筒3tHaqk叫1UIU1U1UnliEhiiixjAiunyi MrtMi.EfiWeIM jpMdOSb.t帥皿尤Sb/iDWflSFPOFPQlF/ftll3：FMTthfl“DKaPSU加m伽齐kflIMo伽YF利內阡丽hbV?sYlrf；Rrlpd Berts*-Diicdir SwifchesIS51ODSX690&1S5290SXE512 IIS顽SXC519IS5&00SXC53S420047Dfl IRlltBIQSIIB聞Q.Z1Q3Z4324G43MBm/iE!S24|MHBUBU9U9U

9、wuiau2fiU2BU1W1EUiltlrnE CapkrtfflMlibjt皿算的3/5茁證旳算MTb戈51J3js.fauvs笛虫M； C5i amiiIM即刖d4W*500怕脚申5呼atW吗尊加戈毀礙砸诫uwOSFPOSFFtCEFPO5FF+09FFOSEQEfPOSAFm.KFFQSF仙邀飾加L创QriiK號创叮闻於松Qncd弗f4Pn 畑64*的目田iW网ha伽YS3伽湖gYkr&sYkYhCcnsdaCaUe-s仙YasYds恤vtB妝YRS伽YkSpirK Mol LIES3&B51B1Q4QLKH M DC USS 041B1212IEIQ匹箱WP3j Peou/iiaY昭

10、|丽11|Y宙冋刑YE|N+2|YES曲十皿YEElM 棚F-en 曲 sdm対 ry畑YdsYbsVB3VKYB3VL4、导向级交换机： Mellanox 的导向器级交换机系列，可以从 36扩展到648端口，总线速度14G,单一机箱内的带宽可从8.64Tb/s 扩展至72.5Tb/s，并具备低延迟和每端口最高可达56Gb/s的端口 速度。Mellanox 的所有交换机均可与 Mellanox 的统一网络架构管理 器 (UFM) 软件加以整合，以用于管理横向扩展 InfiniBand 计算 环境 疑问：培训中说单芯片交换机为边缘交换机，并且一个芯片代表了一 个节点，那么5030 这种类型的交换

11、机是否属于边缘交换机，是否只 有一个芯片？ 一般说一个芯片延时为100NS，交换机内部是个2层 交换机需要经过3个芯片交换所以是300NS，这种3个芯片的是什 么类型交换机？上面导向级交换机中提到的总线速度 14G 是什么意 思？5、Mellanox 的 getawate 产品：4030E，34 个 QDR 的 INFINIBAND 端口，2个万兆端口，5020有4个IN端口可以转到12个万兆端口或 者16个FB端口疑问：这个端口转换怎么理解？ 16个FB端口是fabric端口？三、 IB 网络基础以及 Infiniband 知识学习：HCA: 主机通道适配器，把 CPU 通过总线和 infi

12、niband 交换网做 一个连接，相当于把SERVER和infiniband网络接到一起。HCA可以出 多个端口，更高的可靠性和性能，有自己的记忆存储空间，存储芯片， 现在技术发展可以将芯片放到系统内存中，HCA都没有内存颗粒，全 部都放到系统中了，HCA提供软件接口给最底层的infiniband协议， 所以上面会做虚拟地址的解析，TCA：目标信道适配器 可以把infiniband协议停掉另起一个ETH协议, HCA 一个子系统，HCA也可以做到,TCA也可以用HCA来代替使用。Infiniband交换机主要是把所有infiniband节点通过二层交换机连 接在一起,主要做2层的交换，在同一个

13、子网中。用到16位LED(LID?)。 而 infiniband 路由器主要是当 infiniband 节点不在一个子网中时，实 现子网的拓展。(当一个子网中的节点数太多需要另一个子网时就需 要用到路由器)。一个子网中可以容纳 4.8 万个节点。物理层用于 infiniband 的资料和物理介质的传输， LINK 层指示了资料的源和终点 在什么地方，当跨子网时需要上升到网络层 疑问：什么时候需要用到2 个子网，一个子网中可以容纳4.8万个节 点，什么时候才能达到这样的网络结构？ 16 位 LED 什么意思？VirturamVirturdan和以太网的VLAN不一样，指的是将一条 物理通道虚拟成

14、几条虚拟通道。INF在他的规范上要建立16个 VIRTURE LAN -个管理，15个固定传输，一般15个不一样，可以根 据不同需要分不同的带宽。交换机上一个端可以分很多不同的LAN 疑问：Virture La需要再了解一下子网管理器：子网管理器即SM，用于子网的管理，分配子网中 每个节点的ID,每隔一段时间就会在子网中扫描是否有新的成员加进 来就会分配一个ID整合进来。如果没有还维持以前的路由配置。当 子网管理器起来之后会先扫描GOID,也就是SM不停的问SA在不在， SA相应给SM，这样子网管理器通过GOID给节点安排LOCAL ID,第 个排1,第二个排2,这样下去建立子网中的路由表。GO