《数据中心新技术介绍》由会员分享，可在线阅读，更多相关《数据中心新技术介绍（57页珍藏版）》请在金锄头文库上搜索。
1、数据中心新技术介绍数据中心新技术介绍数据中心拓展部：王宏伟2010年8月1关于Server-to-networkedge的故事n未来几年，数据中心的新技术都将发生在未来几年，数据中心的新技术都将发生在Server-to-network edge；nFCOE、CNA、CEE、EVB，都是，都是Server-to-network edge的故事；的故事；n数据中心以太网络三个技术方向：数据中心以太网络三个技术方向：融合、融合、IO虚拟化、虚拟化、40G/100GFWFWLBLBIPSIPSNetStreamNetStreamFWFWLBLBIPSIPSNetStreamNetStreamServe
2、r-to-netwokr 2虚拟化：服务器虚拟化EVB融合架构：CEEFCoE3概述虚拟化的定义虚虚拟化是化是资源的源的逻辑表示，它不受物理限制的表示，它不受物理限制的约束束 引自引自IBM虚虚拟化与云化与云计算算n“虚拟化虚拟化”的定义包含了三层含义：的定义包含了三层含义：n虚拟化的对象是各种各样的资源；n经过虚拟化后的逻辑资源对用户隐藏了不必要的细节；n用户可以在虚拟环境中实现其真实环境的部分或全部功能;n“虚拟化虚拟化”的两种形式：的两种形式：N:1 N:1 虚拟虚拟化化1:N 1:N 虚拟虚拟化化4概述包罗万象的虚拟化虚拟化虚拟化服务器虚拟化服务器虚拟化存储虚拟化桌面虚拟化软件虚拟化网
3、络虚拟化网络虚拟化n服务器虚拟化：使用虚拟化软件在一台物理服务器上运行多个操作系统；n网络虚拟化：将网络的硬件和软件进行整合，想用户提供虚拟网络连接的技术，VLAN / VPN / VRF / IRF / VDC等，后面将详细讨论；n存储虚拟化：为物理存储设备提供一个抽象逻辑视图，用户通过这个统一的逻辑接口来访问被整合的存储资源，RAID / NAS / SAN。n软件虚拟化：应用虚拟化、高级语言虚拟化（JAVA/JRE）；n桌面虚拟化：将个人桌面环境保存在远端服务器上，终端与桌面解除耦合；5虚拟化：服务器虚拟化EVB融合架构：CEEFCoE6服务器虚拟化的基本概念虚拟化虚拟化前前: :每台主
4、每台主机一个机一个操作操作系统；系统；软件软件硬件硬件紧密紧密地地结合结合 ；在同一主在同一主机机上上运行多个应用程序运行多个应用程序通常通常会会遭遇遭遇沖突沖突；系系统统的的资源资源利用利用率低；率低；硬件成本高昂而且不硬件成本高昂而且不够灵活；够灵活；虚拟化后虚拟化后: :解除了解除了操作操作系统和服务器系统和服务器硬件的互相硬件的互相依赖；依赖；每个虚拟机（逻辑服务器）被封装成一个大每个虚拟机（逻辑服务器）被封装成一个大文件，可拷贝文件，可拷贝/ /克隆；克隆；个系统间逻辑隔离，故障隔离；个系统间逻辑隔离，故障隔离；虚拟机独立于虚拟机独立于硬件硬件, , 可可在在其他服务器其他服务器上上
5、运行；运行；借助虚借助虚拟化化软件在一台物理服件在一台物理服务器上运行多个操作系器上运行多个操作系统；7服务器虚拟化的两个术语n在虚拟化中有两个常用的术语：Virtual Machine 、 virtual machine monitorn Virtual Machine（VM）是指运行在Hypervisor之上，拥有CPU、IO、内存等虚拟硬件资源并可支撑操作系统运行的一个完整的系统平台。nvirtual machine monitor（VMM）或叫做Hypervisor，是支持虚拟机运行的软件平台，负责虚拟机（VM）的托管和管理，它直接运行在服务器硬件上，因此其实现直接受底层体系机构的约束
6、。nVMM，有两种典型的实现：n主机实现方案主机实现方案（hosted），也叫做主机虚拟化，实现：VMware Server (GSX)、 VMware Workstation、 VMware FusionMicrosoft Virtual PC 、 Microsoft Virtual Servern裸金属实现方案裸金属实现方案（bare-metal ）,也叫做裸金属虚拟化，实现：VMware ESX ServerCitrix XenServerMicrosoft Hyper-V当前市场上的主流产品8服务器虚拟化的典型实现nVMM 作为一个应用程序运行在通用操作系统之上，操作系统管理资源。n多
7、个虚拟机的OS间相互独立，一个虚拟机宕机不影响其他虚拟机。n操作系统支持的硬件，虚拟机就能支持。n性能低。nVMM 负责硬件资源的管理。nVM应用层、VM内核、Hypervisor处于不同的CPU特权等级n多个虚拟机的OS间相互独立，一个虚拟机宕机不影响其他虚拟机。n处理性能高，接近非虚拟化运行模式；VMM（虚拟化软件）ApplicationApplicationOSOSOSOS一一个个虚虚拟拟机机一一个个虚虚拟拟机机主主机机虚虚拟拟化化的的结结构构ApplicationApplicationVMM（虚拟化软件）OSOS一一个个虚虚拟拟机机一一个个虚虚拟拟机机裸裸金金属属虚虚拟拟化化的的结结构
8、构9CPU演进：单核双核四核八核双核四核四核八核n每核运行每核运行1.5个虚拟机（个虚拟机（该比例是Intel提出的虚拟机SLA限制条件，即运行于满负载机器之上的所有作业的完成时间不应超过其在空载机器上单个 VM 中运行所需时间的 1.4 倍）；）；n装备装备1个个8核核 CPU的服务器可运行的服务器可运行12个虚拟机个虚拟机10动态迁移动态迁移运行中的VM可实现动态迁移到不同物理及的虚拟平台上分区分区在单一物理服务器上同时运行多个虚拟机隔离隔离在同一服务器上的虚拟机之间相互隔离封装封装整个虚拟机都保存在文件中，而且可以通过移动和复制这些文件的方式来移动和复制该虚拟机服务器虚拟化的关键特性11
9、虚虚拟层虚虚拟交交换机机CPU虚虚拟化化内存内存虚虚拟化化存存储资源源虚虚拟化化传统数据中心数据中心视图虚虚拟架构架构视图Operating SystemExchangeOperating System虚虚拟化化层Operating SystemVPNOperating System虚虚拟化化层Operating SystemFile/PrintOperating System虚虚拟化化层Operating SystemCRMOperating System虚虚拟化化层服务器虚拟化的对传统IT架构的改变12虚虚拟化化层虚虚拟交交换机机CPU虚虚拟化化内存内存虚虚拟化化存存储资源源虚虚拟化化服务
10、器虚拟化的对传统IT架构的改变13服务器虚拟化的关键特性动态迁移服服服服务务器硬件器硬件器硬件器硬件V M MV M M服服服服务务器硬件器硬件器硬件器硬件V M MV M MVMotionVMotion迁迁迁迁移移移移虚虚虚虚拟拟机机机机SANSAN、iSCSIiSCSI或或NASNASn动态迁移可在 X86架构的 VMWARE ESX上实现，也可以在IBM P6 小型机上实现；n在不中断服务的情况下，将VM迁移到其他的物理服务器上；n可用在灾备、资源调整、服务器维护等场合；n实现迁移的服务器必须在一个二层网络内，VM的GW在相同设备上；14Intel Core Microarchitect
11、ureEnhanced Intel Core MicroarchitectureNext Generation Intel MicroarchitectureXeon7500Xeon 5400Xeon 3300FutureFutureFutureXeon 5300Xeon 7300Xeon 320065nm45nm High-K2006-20072007-20082008-2010Dual Core 5100Dual Core 7200Dual Core 3000Intel VT FlexMigration Increased VM Mobility Increased VM Mobility
12、 with VMwarewith VMwareFail-OverFail-Over防故障防故障Load BalanceLoad Balance负载分担分担Disaster Disaster RecoveryRecovery容灾容灾Server Server MaintenanceMaintenance服服务器器维护VMVMIntelCPU对虚拟机VMotion特性的支持借助借助intel VT Flexmirgration 和和vmware ESX的的VMotion，先前在各代服务器，先前在各代服务器间实时迁移虚拟机的障碍已得到解决。间实时迁移虚拟机的障碍已得到解决。15IBMP6/P7CPU
13、支持“分区实时迁移”IBM System p 系统的动态分区迁移技术，允许将正在运行的生产应用程序从一个物理服务器移动到另一个物理服务器动态分区迁移有助于实现连续的可用性目标：n通过动态地将应用程序从一个服务器移动到另一个服务器，减少计划停机时间。n通过允许您将工作负载从负载较重的服务器移动到具有空闲容量的服务器，可以应对不断变化的工作负载和业务需求。n通过允许您简单地整合工作负载，并关闭不使用的服务器，减少能量的消耗。IBM P6/P7 CPU都支都支持持“分区实时迁移分区实时迁移”，类似与，类似与VMWARE 的的VMotion。“分区实时迁移分区实时迁移”需要需要服务器部署在同一个服务器
14、部署在同一个二层网络中。二层网络中。16虚拟化：服务器虚拟化EVB融合架构：CEEFCoE17物理网卡虚拟交换机 VSwitch虚拟化之后的服务器虚拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡虚拟交换机虚拟化虚拟化Server虚拟机1虚拟机2虚拟机3虚拟机4虚拟网卡虚拟网卡虚拟网卡虚拟网卡核心层汇聚层接入层接入层服务器虚拟化带来网络接入层的变化18传统的VSwitch的问题1管理边界问题物理网卡虚拟交换机 VSwitch虚拟化之后的服务器虚拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡虚拟服务虚拟服务器边界器边界物理服务物理服务器边界器边界二层网二层网络边界络边界这部分由服务器管理员服务器管理员负责运维
15、。这部分由网络管理员网络管理员负责运维。这部分由这部分由 谁谁 负责运维负责运维 ？物理服务器中的逻辑网络由谁管？物理服务器中的逻辑网络由谁管？相似的情况：刀片服务器中的交换机相似的情况：刀片服务器中的交换机模块由谁管？模块由谁管？Server-to-network edge 是当前数是当前数据中心技术发展的热点，融合、据中心技术发展的热点，融合、IO/虚虚拟化是热点的两个主题；拟化是热点的两个主题；其实，其实，EVB / FCOE / CEE ，都是在，都是在讨论边界上的技术问题；讨论边界上的技术问题；19传统的VSwitch的问题2VM流量监管问题物理网卡VSwitch虚拟化之后的服务器虚
16、拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡n从虚拟机到物理服务器之外的流量可以通从虚拟机到物理服务器之外的流量可以通过交换机镜像、网流分析设备进行监控；过交换机镜像、网流分析设备进行监控；n虚拟机之间的流量无法进行监控；虚拟机之间的流量无法进行监控；n也有将虚拟交换机软件进行改进，以实现也有将虚拟交换机软件进行改进，以实现流量监控或镜像的方式，但这种方式需要流量监控或镜像的方式，但这种方式需要消耗过多的消耗过多的CPUCPU资源。资源。可监控的服务器流量可监控的服务器流量不可监控的服务器流量不可监控的服务器流量20物理网卡VSwitch虚拟化之后的服务器虚拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡
17、传统的VSwitch的问题3服务器访问控制n数据中心服务器之间采用了矩阵式数据中心服务器之间采用了矩阵式的访问控制策略。的访问控制策略。n不同的虚拟机之间需要通过不同的虚拟机之间需要通过ACLACL实现实现访问控制；访问控制；n传统的传统的VSwitch VSwitch 实现实现ACLACL需要消耗需要消耗CPUCPU资源，对服务器性能有影响；资源，对服务器性能有影响；n安全策略与安全策略与VMVM的迁移紧绑定问题需的迁移紧绑定问题需解决；解决；21EVB实现虚拟机的边缘接入控制Virtual Ethernet Bridge(VEB)Virtual Ethernet Port Aggregat
18、ion (VEPA)也称也称Basic VEPAMultichannelRemote ReplicationMAC+VID to steer framesMAC+VID to steer framesuses tag for remote portsuses tag to replicate packets仿真802.1桥功能已有实现(vSwitch, SR-IOV bridge)与现有网络可配合运行无需修改当前报文格式有限的可视性(不易管理)有限的网络功能本地转发性能较强Legacy, pervasive修改802.1桥功能与现有大部分交换可配合运行Hairpin方式不修改现有报文格式 Fu
19、ll bridge visibility Access to bridge features Constrained performance Leverages VEB resources利用 Provider Bridge802.1Qbc功能类似远端业务接口 Remote Service Interface使用现有报文格式 (S-tags).创建桥虚拟端口定义受控SComponent组件 Access to bridge features Adjacent bridge multicastreplication (性能有限)扩展Multichannel可外部级联定义新的tag format
20、Defines new name 22HP/3COM802.1Qbg的解决方案MAC/PHY虚拟化之后的服务器虚拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡VMMVM1VM2VM3VEPA以太网交换机以太网交换机Virtual Ether Port Aggragation 方案：方案：n现在的交换机只要稍做驱动修改就可支持这种现在的交换机只要稍做驱动修改就可支持这种模式；原来的模式；原来的VSwitch变成了变成了VEPA，但还是，但还是CPU处理，性能有一定限制；处理，性能有一定限制；n在物理网络上实现了流控和安全控制；在物理网络上实现了流控和安全控制；n物理服务器边界也是网管边界；物理服务器边
21、界也是网管边界；实现流量监控、实现流量监控、安全控制安全控制物理服务物理服务器边界器边界虚拟化之后的服务器虚拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡VMMVM1VM2VM3以太网交换机以太网交换机实现流量监控、安全控制实现流量监控、安全控制物理服务物理服务器边界器边界虚拟网卡VM3VSwitchVEPA多通道标签处理模块多通道标签处理模块MAC/PHY多通道标签处理模块多通道标签处理模块Mutil-Channel 方案：方案：n可同时支持可同时支持 软软/硬硬VSwitch、VEPA，n需要升级网卡和接入层交换机支持需要升级网卡和接入层交换机支持Q-IN-Q；n在物理网络上实现了流控和安全控制
22、在物理网络上实现了流控和安全控制n物理服务器边界也是网管边界；物理服务器边界也是网管边界；物理网卡物理网卡物理网卡物理网卡23CISCO的802.1Qbh解决方案虚拟化之后的服务器虚拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡VMMVM1VM2VM3以太以太网交网交换机换机实现流量监控、实现流量监控、安全控制安全控制虚拟网卡VM3VSwitchVEPAM标签处理模块（标签复制）标签处理模块（标签复制）MAC/PHYM标签处理模块标签处理模块M标签处理模块（标签复制）标签处理模块（标签复制）非虚拟化非虚拟化的服务器的服务器MAC/PHY物理网卡物理网卡物理网卡物理网卡操作操作系统系统非虚拟化非虚拟化
23、的服务器的服务器MAC/PHY物理网卡物理网卡端口扩展端口扩展 FEXn为解决多通道技术多播转发的复杂性，提出了端口扩展技术；n端口扩展技术实现了M部件，专用于对多播报文进行转发；M部件增加对多播 tag的添加和删除；操作操作系统系统24两个标准草案的比较n802.1Qbg：目标是定义：目标是定义EVB的基本功能；的基本功能；VEPA及其multi-channel是由HP、3COM、IBM、Broadcom、Qlogic、emulex等公司支持发起确定的IEEE标准，将2011年初成为正式标准；协议定义了虚拟机VMM以及交换机对来自VM的报文的处理方式，将VM的流量牵引到交换机上做转发、监管、
24、安全控制，然后在送回到VM。该协议明确了服务器管理边界、网络管理边界。n802.1Qbh：目标是定义端口扩展；：目标是定义端口扩展；CISCO主导的802.1Qbh，预计在2012年成为正式标准；该协议定义了新的以太网报文格式（增加了M-TAG），一组M-tag代表一组端口，用于远端的部件进行报文的复制（多播）。n这两个标准不冲突，这两个标准不冲突，QbgQbg实现实现VMVM之间交换的基本功能，可以借助之间交换的基本功能，可以借助QbhQbh提提高多播的处理性能；高多播的处理性能；QbhQbh可以单独实现，但对硬件有特殊要求；可以单独实现，但对硬件有特殊要求；25虚拟化：服务器虚拟化EVB融
25、合架构：CEEFCoE26传统数据中心基础网络的挑战HPCHPCLANLANSANSAN传统数据中心网络的问题传统数据中心网络的问题：n分离的多套网络分离的多套网络n服务器多服务器多IOIO接口接口n多套机房布线多套机房布线以太网以太网高性能计算网高性能计算网存储网存储网27发展趋势IO整合操作系统操作系统I/OI/OI/OI/OI/OI/OI/OI/OI/OI/OI/OI/OLANLANTCP/UDP/IPSANSANiSCSCI-TCPSCSCI-FCHPCHPCRDMAiWARP以太网以太网以太网以太网FCFC以太网以太网InfinibandInfinibandLANLAN应用应用存储存
26、储应用应用HPCHPC应用应用操作系统操作系统LANLANTCP/UDP/IPSANSANiSCSCI-TCPSCSCI-FCHPCHPCRDMAiWARP增强以太网增强以太网LANLAN应用应用存储存储应用应用HPCHPC应用应用增强以太网增强以太网FC HBAFC HBANICNICFC HBAFC HBANICNICFC流量FC流量Enet流量Enet流量CNACNAFC流量和Enet流量CNACNAFC流量和Enet流量CAN：Converged Network Adapter 28IO整合带来的收益简化管理、节能、降成本LANSAN ASAN BLANSAN ASAN BEthern
27、etFCCEE&FCOEn多套网络独立运行，多个故障域（以太网、FC网等），多个管理团队（以太网管人员、FC网管人员）；n各网络利用率都不充分；n每个服务器超过5个IO接口卡（两个数据以太网卡、一个管理以太网卡、两个HBA卡）n服务器部署时间长，需配多个IO卡n减少了服务器的IO接口，简少服务器接简少服务器接入层设备（网络、存储），简化服务器入层设备（网络、存储），简化服务器接入层布线接入层布线；n降低数据中心用电，绿色节能，降低数绿色节能，降低数据中心建设成本据中心建设成本；n采用统一的网络管理界面统一的网络管理界面；n即融合了存储网络，又未改变传统FC存储网络的部署方式；2910 Gbps
28、.8-10 Gbps.ExistingFibre ChannelEthernet1,2,4 Gb16Gb8GbNAS, iSCSIFCoCEE1Gb传统交换传统交换10Gb 统一交换统一交换40Gb 统一交换统一交换统一交换的基础高性能以太网n在FC SAN（FC-BASE2），服务器和交换机之间、交换机与交换机之间采用4G或8G。10G以太网提供了LAN/SAN融合的基础；nFC采用基于Buffer-to-Buffer Credit的流控机制，保证FC网络传输无丢包；n通过FCOE技术，可实现FC在以太网上的承载传输；n融合增强以太网技术（CEE），提供了不丢包的以太网传输以及二层多路径转发
29、，保证FC传输不丢包以及FC传输的效率；30虚拟化：服务器虚拟化EVB融合架构：CEEFCoE31IEEEIEEE的数据中心的数据中心桥接（接（DCBDCB）和）和IETFIETF的的TRILLTRILL统称称为融合增融合增强强型以太网型以太网(CEE)(CEE)。特性或标准特性或标准好处好处Priority-based Flow Control (PFC) IEEE802.1Qbb使得多种流量类型共享以太链路，不同流量类型不互相影响Enhanced Transmission Selection (ETS) IEEE802.1Qaz将流量按服务类型分组，提供不同流量的最小带宽保证同时提高链路利
30、用率Congestion Notification (QCN) IEEE802.1Qau实现2层网络端到端的拥塞管理Data Center Bridging Exchange Protocol (DCBX)提供增强以太网能力的自动协商L2 MultiPathing (L2MP)IETF TRILL消除2层拓扑中的生成树，通过ECMP来充分利用链路带宽融合增强以太网技术（CEE）32Priority-basedFlowControl(PFC)nPFC可以基于每个以太网优先级使能Pause功能n不同流量类型映射到不同的优先级n不同流量类型之间不会互相影响n每个优先级需要独立的资源（buffer）发
31、送队列接收缓存stop8个队列12345678以太网链路33EnhancedTransmissionSelection(ETS)n将网络中的流量优先级分成不同的优先级组（Priority Group）n为每个PG分配一定的带宽n如果一个PG未消耗为其分配的带宽，其他PG可以使用这些未使用的带宽提供的流量10GE链路监管后的实际流量负载服务器集群流量3 Gbps存储流量3 Gbps局域网流量4 G34CongestionNotification（QCN）n当设备发生拥塞时，就会生成拥塞通知，并向入口端节点发出降低发送速率的请求n入口端节点降低造成拥塞的发送速率n当拥塞消失后，就会主动向入口设备发
32、出指示，允许提高发送速率NIC RLNIC RLNIC RLNIC RLNIC RL拥塞点反应点RL:速率限制器35DataCenterBridgingExchange（DCBX）n用于发现对等配置，并在符合DCB要求的桥接之间交换配置信息 nIEEE数据中心桥接的以下参数可由DCBX进行交换nETS中的优先级组nPFCn拥塞通知n逻辑链路状态n应用DCBX原有以太网链路原有以太网链路融合增强以太网络数据中心以太网链路具备部分增强功能的数据中心以太网链路DCBXDCBX36Layer2Multi-path(L2MP)-TRILLnTRILL(Transparent Interconnectio
33、n of Lots of Links)nTRILL是一种二层多路径技术，它使用IS-IS协议来学习交换机网络的拓扑，计算以太网连接各端点之间的最短路径和等价路径，支持多条并行路径，流量可以在多条并行路径中负载均衡。这样可以提高网络的扩展性、性能以及可用性。37虚拟化：服务器虚拟化EVB融合架构：CEEFCoE38FC概述nFC技术出现在80年代末期，1994年由ANSI T11制定首个标准nFC技术目前在SAN(存储区域网络)中广泛使用n在拓扑、速率、距离等方面具有灵活性和可扩展性n能够提供路由控制、访问控制等n能够提供冗余、高可用性FC RoadmapFC-Base2 用于服务器和交换机之间
34、或者交换机与交换机之间的链路；目前主流为4G、8G。16G正在研发。FC-Base10用于交换机与交换机之间的链路(ISL)，目前主流为10G。20G的产品已经面世。39FC协议的地址FC FabricDomain ID 10Domain ID 11FC ID11.00.01FC ID10.00.01Domain IDDomain ID8 Bits8 BitsArea IDArea ID8 Bits8 BitsPort IDPort ID8 Bits8 BitsnWWNWWN是固定地址（是固定地址（6464位）位）n每个FC Fabric设备 （HBA/ 交换机/ 存储)都拥有一个（或多个）W
35、WN地址，由厂商在出厂前分配；n该地址主要用来做身份识别和安全控制nFC_IDFC_ID是动态分配的地址是动态分配的地址 （2424位）位）nFC设备注册到FC Fabric时动态获得，由FC主交换机分配；nSwith Domain_ID + Area + Port_idnFC Fabric中的每个Switch拥有一个Domain_ID，由此也限制了FC Fabric中Switch的数量（239）；nFC_ID地址出现在FC报文头中，FC Switch用这个地址来路由转发FC报文；40FCSAN的基本结构FC HBAFC HBAInitiatorFabric A服务器磁盘阵列Fabric BF
36、C SwitchFC SwitchFC SwitchFC SwitchnFC交换机SAN Fabric的组成部分n服务器为实现冗余高可用，通常配有有两块HBA卡，每个HBA卡拥有自己的WWN（相当于以太网MAC）；n服务器有多个端口，连接到不同的SAN Fabric；n服务器不同的HBA接入到不同的SAN Fabric，冗余的路径提供了负载均衡和高可用性；n服务器到到同一盘阵存在多路径，但服务器上的驱动可使操作系统认为只连接了一个SCSI设备；nFC设备连接时需要进行链路初始化、区分端口类型、分配地址、计算优选路径等过程；T41BuffertoBufferCredits流控机制FC HBAFC
37、 HBAR_RDYPACKETFC Swith16161516服务器服务器nFC采用基于Buffer-to-Buffer Credit的流控机制。能够保证FC网络无丢包。n用来控制报文发送的步调，Credit值在链路初始化时协商获得；n当发送一个报文后BB_Credit减1， 当减到0时便不能再发送报文n当收到对端发来的R_RDY后BB_Credit加1n通常端口的BB_Credit 数目代表了该端口接受方向可以缓存的报文的个数；nB2B机制还要考虑传输的速率、距离。42FibreChannel的端口类型F_PortF_PortF_PortE_PortU_PortNP_PortN_PortU_
38、PortEnd nodeE_PortN_PortE_Port服务器磁盘阵列NPV SwitchFC SwitchEnd nodeN_PortEnd node服务器磁盘阵列nFCFC节点端口（服务器或存储设备）节点端口（服务器或存储设备）N_PortN_Port：和：和FabricFabric直连的端口直连的端口NP_PortNP_Port：与：与NPVNPV设备相连设备相连nFCFC交换机端口交换机端口F_PortF_Port：FabricFabric端口，和端口，和N_PortN_Port相联相联E_Port: E_Port: 扩展端口（交换机到交换机）扩展端口（交换机到交换机）U_Port
39、U_Port：通用端口：通用端口( (可以转变为可以转变为E E或或F)F)43NPIV的概念E_MAILWEBAPPE_MAIL I/ON_PORT_ID 1WEB I/ON_PORT_ID 2APP I/ON_PORT_ID 3F_PORTF_PORTN_PORTSERVERnN-Port ID VirtualizationN-Port ID Virtualization（NPIVNPIV）。即给一个）。即给一个N_PORTN_PORT，分配多个，分配多个FC_IDFC_ID；n目的是使多个应用能共享同一个目的是使多个应用能共享同一个HBAHBA，而使用不同的，而使用不同的FC IDFC
40、ID。便于进行灵活的策。便于进行灵活的策略控制。略控制。n在服务器虚拟化时，可以给不同的在服务器虚拟化时，可以给不同的VMVM分配不同的分配不同的FCIDFCID，类似网卡虚拟化；，类似网卡虚拟化；FC S44NPV的概念Eth 1/1Eth 1/2Eth 1/3Server 1N_PORT_ID 1Server 2N_PORT_ID 2Server 3N_PORT_ID 3F_PORTF_PORTNP_PORTFC SwitchFC NPV SwitchF_PORTN_PORTnN_Port VirtualizerN_Port Virtualizer（NPVNPV），对于），对于NPIV S
41、witchNPIV Switch看来，看来，NPV Switch NPV Switch 的行为就像的行为就像一个支持一个支持NPIVNPIV的服务器；的服务器；nNPV SwitchNPV Switch把终端设备的把终端设备的loginlogin尽可能均匀的分布到多个上行端口上；尽可能均匀的分布到多个上行端口上；n NPV SwitchNPV Switch不需要占用不需要占用Domain IDDomain ID， 提高了提高了FCFC网络的可扩展性（一个网络的可扩展性（一个FC FabricFC Fabric中最多只有中最多只有239239个个Domain IDDomain ID，一台交换机需
42、要占用一个，一台交换机需要占用一个Domain IDDomain ID）；）；n简化了网络管理；简化了网络管理；45FSPF（FabricShortestPathFirst）路由nFSPF是FC Fabric的路由选择协议，与IP中的OSPF类似；nFSPF基于Domain ID进行FC报文的逐跳路由转发；n在FC Fabric中，一个Domain ID标识一个FC Switch，FSPF最多支持239个FC SwitchnFSPF支持多路径路由（以太网需要支持二层多路径的原因）；nFSPF仅运行在E_port上（只在交换机之间运行）；nFSPF基于每个VSAN运行；FSPF46FCoE：FC
43、overEthernet增强以太网FC流量nFCoE就是把就是把FC帧直接映射到以太网上进行承载，帧直接映射到以太网上进行承载，FC数据流和其他数据流共数据流和其他数据流共享以太网链路；享以太网链路；nINCITS T11 FC-BB-5 WG 中定义中定义FCOE；n由于没有使用由于没有使用TCP，故需要无损的以太网（，故需要无损的以太网（ DCE/CEE/DCB）保证不丢包；）保证不丢包；nFCOE 保留保留N_Port、F_Port、E_Port的结构；的结构；nFCOE保留了保留了FC的管理模式，保护了原有投资；的管理模式，保护了原有投资；LANLANSAN ASAN ASAN BSA
44、N BFCoE Switch FCoE Switch Server Server with CNA with CNA IP流量47FCoE协议栈和帧格式CEEFCoEFCSCSI LayerOS / Applicationn从从FCFC角度看来，角度看来，FCoEFCoE是把是把FCFC连接在一种新型的链路上；连接在一种新型的链路上；n从以太网的角度来看，从以太网的角度来看，FCoEFCoE仅是其承载的另外一种上层协仅是其承载的另外一种上层协议（议（ULPULP）；）；n整个整个FCFC报文最长报文最长21802180字节；字节；nFCOEFCOE协议报文有两种类型：协议报文有两种类型：nFC
45、OEFCOE数据承载报文，数据承载报文，ethtype = 0x8914 ;ethtype = 0x8914 ;nFIPFIP（ FCoE Initialization Protocol FCoE Initialization Protocol ）协议报文，用）协议报文，用于发现支持于发现支持FCOEFCOE的的VLANVLAN，建立和维护，建立和维护FCoEFCoE虚链路的协议。虚链路的协议。Ethtype = 0x8906 ;Ethtype = 0x8906 ;Fiber Channel PayloadEthernetHeaderFCoEHeaderFCHeaderCRCEOFFCS普通以
46、太帧，12字节(MAC)+4字节(vlan tag)FCOE报头，16字节原有的FC报头，24字节FC报文最多2112字节4字节4字节4字节48FC-BB-5（FCOE）标准中的一些术语nVN_PORTVN_PORT：Virtual N_PortVirtual N_Port，物理，物理N_PORTN_PORT可以实现可以实现多实例，每个实例即多实例，每个实例即VN_PORTVN_PORT；nVF_PORTVF_PORT：Virtual F_Port;Virtual F_Port;nVE_PORTVE_PORT：Virtual E_Port;Virtual E_Port;nFCOE_LEPFCO
47、E_LEP：实现：实现FCFC报文到报文到FCOEFCOE报文的封装、解封装、报文的封装、解封装、FCOEFCOE报文发送、接收的组件；报文发送、接收的组件；nFCOE_ControlerFCOE_Controler：实现：实现FIPFIP协议的组件；协议的组件；49FCOE架构模型nENodeENode是服务器是服务器CNACNA的实现模型，的实现模型，FCFFCF（FCOE ForwarderFCOE Forwarder）是）是FC SwitchFC Switch的实现模型；的实现模型；n在在FCFC中，两个中，两个FCFC设备间是点对点连接，而在设备间是点对点连接，而在EthernetE
48、thernet网络中，两台网络中，两台FCFC设备可以通过广播链路连设备可以通过广播链路连接。接。FCOEFCOE用虚链路代替用虚链路代替FCFC网络的物理链路；网络的物理链路；nFCOEFCOE的虚链路通过链路两端的虚链路通过链路两端FCOE_LEP (Link End-Point) FCOE_LEP (Link End-Point) 的的MACMAC地址进行标识；地址进行标识；50FCOE报文的寻址和转发过程n存储阵列上的存储阵列上的FC N_Port发送出发送出FC帧，其目的地址为帧，其目的地址为1.1.1，源地址为，源地址为7.1.1。nDomain ID为为7的的FC交换机收到报文后
49、，查表，将其转发到路径最短的端口；交换机收到报文后，查表，将其转发到路径最短的端口；nDomain ID为为3的的FCOE交换机收到报文后，发现该报文需要通过以太网络传送，便将交换机收到报文后，发现该报文需要通过以太网络传送，便将FC报文封装在以报文封装在以太报文中，该以太报文的目的太报文中，该以太报文的目的MAC地址地址B（接收方交换机的（接收方交换机的FCoE实体的实体的MAC地址），源地址），源MAC地址地址A（发送方交换机的（发送方交换机的FCoE实体的实体的MAC地址）；地址）；nFCoE报文到达报文到达FCoE实体的实体的MAC地址为地址为B的交换机后，交换机检查的交换机后，交换机
50、检查FC报文中的报文中的D_ID在自身的在自身的Domain范围内，使用新的目的范围内，使用新的目的MAC地址地址C（主机的（主机的MAC地址）和新的源地址）和新的源MAC地址地址B对报文进行重新封装，并对报文进行重新封装，并从相应的端口发送；从相应的端口发送；nMAC地址为地址为C的的CNA收到收到FCoE报文；报文；nMAC地址是逐跳变化的，地址是逐跳变化的，FCID是端到端的；是端到端的；51FCoE网络组成与需求ServerServerServerServerEthernet TrafficFibre Channel TrafficFibre Channel SwitchFCoE Sw
51、itch (FCF)FCoE Switch (FCF)Transit Switch角色角色功能描述功能描述特性要求特性要求Transit Switch10GE以太网交换机；透明的转发以太网报文，并保证FCoE报文无丢包。FIP Snooping （增强安全性）CEEPriority-based Flow Control (PFC) 802.1QbbEnhanced Transmission Selection (ETS) 802.1QazData Center Bridging Exchange (DCBX) Protocol 802.1QazFuture： Congestion Notifi
52、cation 802.1Qau & Layer 2 Multi Path （TRILL） FIP SnoopingFCF (FCoE Forwarder)执行FC报文到FCoE报文的封装与解封装；执行FC交换机的所有功能；执行Ethernet交换机的功能，并保证FCoE报文无丢包；FCoE MapperFibre Channel SwitchingFibre Channel Control Plane Ethernet SwitchingCEE方式方式1 1方式方式2 52FCOENPV方案说明CNAEthernet FabricFC FabricENODETargetN_PORTF_PORT
53、NP_PORTFCOE NPV SWITCH支持支持 CEE 特性特性F_PORTn服务器安装服务器安装CNA网卡，通过一根电缆与接网卡，通过一根电缆与接入层交换机连接；入层交换机连接；n接入层交换机支持接入层交换机支持FCOE特性，并采用特性，并采用NPV转发模式；接入交换采用转发模式；接入交换采用FC端口与端口与FC Fabric连接，采用连接，采用10G以太网端口与以太网端口与Ethernet Fabric连接连接;n接入层交换机支持接入层交换机支持 CEE特性（如特性（如PFC），），保障保障FCOE报文不丢包；报文不丢包；nFCOE报文从服务器报文从服务器CNA网卡发出，在接入网卡发
54、出，在接入交换机上终结；交换机上终结；n从服务器从服务器CNA发出发出的非的非FCOE报文，在接入报文，在接入交换机上按正常报文转发；交换机上按正常报文转发；n接入交换机上的接入交换机上的FCOE代理模块对代理模块对ENODE发起的发起的FIP、FLOGI和和FCOE数据报文做相应数据报文做相应的处理；的处理；接入层交换机接入层交换机53接入交换机上的VLAN划分CNAEthernet FabricFC FabricENODEL2 SWNPVNP_PORTFIP VLAN (UNTAG)SAN VLAN (TAG)DATA VLAN (TAG) ETH 1/0/1 Eth 1/0/10 Eth
55、 1/0/10 ETH 1/0/1 SERVERCNAL2 SWNPVFIP VLAN (UNTAG)SAN VLAN (TAG)DATA VLAN (TAG) Eth 1/0/10 ETH 1/0/1 SERVERCNA要求要求ServerServer侧网卡提前配置好侧网卡提前配置好LAN VLAN LAN VLAN idid，并支持，并支持LANLAN数据流量携带数据流量携带VLAN TAGVLAN TAG进进行发送；行发送；可采用以服务器接入端口缺省可采用以服务器接入端口缺省PVIDPVID为为SeverSever的的LAN idLAN id的方案。由的方案。由于于FIP VLAN Di
56、scoveryFIP VLAN Discovery报文也属报文也属UNTAGUNTAG，为实现数据报文与协议，为实现数据报文与协议报文的分离，可将报文的分离，可将FIP VLANFIP VLAN部署到部署到protocol-vlanprotocol-vlan中。中。54H3CS5820XLSW1FC4P0接口卡介绍nLSW1FC4P0接口卡提供接口卡提供4个个SFP+端口，可以支持端口，可以支持10G SFP+模块和模块和8/4/2G FC模块。接口卡支持完整的模块。接口卡支持完整的FCoE协议栈和必须的协议栈和必须的FC协议栈。协议栈。nS5820X系列万兆以太网交换机系列万兆以太网交换机+
57、LSW1FC4P0接口卡，可以帮助用户实现简接口卡，可以帮助用户实现简单的和低成本的接口融合。单的和低成本的接口融合。n服务器不需要同时配置以太网网络接口卡（服务器不需要同时配置以太网网络接口卡（NIC）和光纤通道主机总线适配器）和光纤通道主机总线适配器(HBA)，只需要配置一个统一网络接口，只需要配置一个统一网络接口(CNA)，即可同时接入以太网网络，即可同时接入以太网网络（LAN）和存储区域网络（）和存储区域网络（SAN）。）。55FCOE方案实现的三阶段NPIVFCF on Top of RackFCF on Chassis (DC wide FCOE)LANFC-SANCEENPIVLANFC-SANFCOE/FCFLANFC-SANFCOE/FCFPhase 1Phase 1Phase 2Phase 2Phase 3Phase 3杭州华三通信技术有限公司
