数据中心高可用网络系统设计

《数据中心高可用网络系统设计》由会员分享，可在线阅读，更多相关《数据中心高可用网络系统设计（17页珍藏版）》请在金锄头文库上搜索。

1、数据中心高可用网络系统设计数据中心高可用网络系统设计 数据中心作为承载企业业务的重要 IT 基础设施，承担着稳定运行和业务创 新的重任。伴随着数据的集中，企业数据中心的建设及运维给信息部门带来了 巨大的压力，“数据集中就意味着风险集中、响应集中、复杂度集中”， 数据中心出现故障的情况几乎不可避免。因此，数据中心解决方案需要着重关 注如何尽量减小数据中心出现故障后对企业关键业务造成的影响。为了实现这 一目标，首先应该要了解企业数据中心出现故障的类型以及该类型故障产生的 影响。影响数据中心的故障主要分为如下几类： 硬件故障 软件故障 链路故障 电源/环境故障 资源利用问题 网络设计问题 本文针对网

2、络的高可用设计做详细的阐述。 高可用数据中心网络设计思路高可用数据中心网络设计思路 数据中心的故障类型众多，但故障所导致的结果却大同小异。即数据中心 中的设备、链路或 server 发生故障，无法对外提供正常服务。缓解这些问题最 简单的方式就是冗余设计，可以通过对设备、链路、Server 提供备份，从而将 故障对用户业务的影响降低到最小。 但是，一味的增加冗余设计是否就可以达到缓解故障影响的目的？有人可 能会将网络可用性与冗余性等同起来。事实上，冗余性只是整个可用性架构中 的一个方面。一味的强调冗余性有可能会降低可用性，减小冗余所带来的优点， 因为冗余性在带来好处的同时也会带来一些如下缺点：

3、网络复杂度增加 网络支撑负担加重 配置和管理难度增加 因此，数据中心的高可用设计是一个综合的概念。在选用高可靠设备组件、 提高网络的冗余性的同时，还需要加强网络构架及协议部署的优化，从而实现 真正的高可用。设计一个高可用的数据中心网络，可参考类似 OSI 七层模型， 在各个层面保证高可用，最终实现数据中心基础网络系统的高可用，如图 1 所 示。 图 1 数据中心高可用系统设计层次模型 数据中心网络架构高可用设计数据中心网络架构高可用设计 企业在进行数据中心架构规划设计时，一般需要按照模块化、层次化原 则进行，避免在后续规模越来越大的情况再进行大规模的整改，造成时间与投 资浪费。 模块化设计模块

4、化设计 模块化设计是指在对一定范围内的不同功能或相同功能不同性能、不同 规格的应用进行功能分析的基础上，划分并设计出一系列功能模块，模块之间 松耦合，力求在满足业务应用要求的基础上使网络稳定可靠、易于扩展、结构 简单、易于维护。 不同企业的应用系统可能有一定的差异。在网络层面，根据应用系统的 重要性、流量特征和用户特征的不同，可大致分为以下几个区域，如图 2 所示。 图 2 企业数据中心典型模块划分 需注意几下几点： 1)1) 企业园区网核心与数据中心核心分离，各司其职企业园区网核心与数据中心核心分离，各司其职 园区网核心主要承接纵向流量和用户的接入控制（DHCP、认证等）；数据 中心核心主要

5、承接服务器间的流量(横向流量居多)。数据中心核心交换机 上尽可能少的部署策略和配置，保证其互连互通的高可靠、高性能，同时 在扩展新的模块时力求达到核心设备配置的零更改，各模块之间互通的松 耦合，避免某功能模块的故障影响其它功能模块，实现风险分散、灵活扩 展； 2)2) 分布式安全部署分布式安全部署 与传统的防火墙集中在核心旁挂的方式不一样，在模块化数据中心网络架 构中，安全设备应下移到各功能模块的出口（汇聚层）位置，如图 2 的红 色网格线所示。而不是旁挂部署在核心交换区，这样做的目的也是分散风 险，实现各模块间的松耦合。数据中心核心交换区就像是连接各城市的高 速公路，建设时应充分保证其高可靠

6、和高性能，而不部署红绿灯调度； 3)3) 内部服务器区细分子区内部服务器区细分子区 4) Intranet 服务器区是企业应用系统的关键分区，此分区可根据应用业务的 关键性、实时性等特征的不同，可考虑再进行子分区的划分，一般而言可 分为“关键业务区”、“通用业务区”、“财务应用区”几类，子分区可 以是物理的，也可以是逻辑的。如果是逻辑的，可为每个子分区分配一个 虚拟防火墙来部署安全策略。在业务系统复杂，服务器数据较多的情况下 （=200 台），建议采用物理子分区，每个子分区采用独立的汇聚交换机 和安全设备。 层次化设计层次化设计 数据中心层次化设计包括网络架构分层和应用系统分层两个方面。在当

7、前网络及安全设备虚拟化不断完善的情况下，应用系统分层可完全通过设备配 置来实现逻辑分层，不影响网络的物理拓扑。对于网络架构层次化设计，选择 三层架构还是二层架构是不少企业进行数据中心网络建设时面临的难题。 传统网络中，网络各层的职责大致定义如下： 核心层：核心层：主要负责的是数据的交换与路由，不负责处理； 汇聚层：汇聚层：主要负责的是数据的处理，选择和过滤等操作； 接入层：接入层：主要负责的是数据的接受与发送，负责端到端的链路建立和 释放。 从可靠性的角度来看，三层架构和二层架构均可以实现数据中心网络的高可用。 近年来随着云计算的逐渐兴起，二层扁平化网络架构更适合云计算网络模型， 可以满足大规

8、模服务器虚拟化集群、虚拟机灵活迁移的部署。如表 1 所示为二 层和三层架构对比，可见，两者之间没有绝对的优劣之分，企业用户可根据自 身的业务特点进行选择，也可以先二层，后续针对某些特定的功能分区采用三 层组网。 三层架构三层架构二层架构二层架构 可靠性可靠性增加了一层网络设备，意 味着故障点增加 网络故障点相对较少，但同 时故障点也相对集中 安全性安全性网关和安全策略皆部署在 汇聚层，方便部署 安全策略部署在接入层，相 对比较分散，部署工作量大 服务器接入数量服务器接入数量较多较少 扩展性扩展性同一功能分区内服务器数 量扩展多，可灵活实现物 理分区内的子逻辑分区 同一功能分区内服务器数量 扩展

9、受限 运维管理运维管理设备和管理点较多设备少，管理点较少 成本成本汇聚和接入设备可灵活选 择配合，达到最佳的成本 控制 接入设备要求较高，选型受 限 适合场景适合场景服务器数量多，安全策略 控制严格的场合 服务器集群、虚拟机迁移应 用较多，服务器搬迁移动频 繁场合 表 1 三层组网与二层组网对比 模块化、层次化的架构设计将数据中心网络风险进行了分散，将出现问题后 的影响降低到最小，同时模块之间的松耦合可增强数据中心的扩展，简化网络 运维，降低在扩展的过程中管理员的人为故障，保证数据中心的可用性。 设备层高可用设计设备层高可用设计 设备可靠是系统可靠的最基本保证，数据中心核心交换区设备的可靠稳定

10、尤 为重要。尽管可以通过架构、策略、配置等的调整和优化等多种手段降低核心 设备的故障几率以及影响范围，但若要解决最根本的设备本身的软硬件故障， 则必须选用数据中心级的网络设备。 关于数据中心级设备，业界还没有标准的定义，但从目前主流网络设备供应 商提供的数据中心解决方案产品可以看出，数据中心级交换机应具备以下特征： 1)1) 控制平面与转发平面物理分离控制平面与转发平面物理分离 传统的园区网交换机一般采用“Crossbar+共享缓存”的交换架构，引擎板 继承担控制平面的工作，同时也承担数据转发平面的工作，跨槽位的流量转 发报文需要经背板到引擎板的 Crossbar 芯片进行转发。这种架构限制了

11、设 备的可靠性和性能： 可靠性限制：可靠性限制：引擎需要承接数据转发平面的工作，因此在引擎出现主 备倒换时必然会出现丢包。此外引擎 11 冗余，也使得 Crossbar 交换 网只能是 11 的冗余，冗余能力无法做的更高。 性能限制：性能限制：受制于业界当前 Crossbar 芯片的工艺以及引擎 PCB 板卡布 线等制造工艺，将 Crossbar 交换网与 CPU 主控单元集中在一块引擎板 上的结构，一般单块引擎的交换容量不可能做的太高（一般约 1TB 左右） 。 数据中心级交换机产品将控制平面与转发平面物理分离，一般有独立的引擎 板和交换网板，同时采用 CLOS 多级交换架构，大大提高设备的

12、可靠性及性 能。如表 2 所示为 CLOS 架构与传统的 Crossbar+共享缓存交换架构对比。 图 3 Crossbar 架构也 CLOS 架构逻辑实现 Crossbar+Crossbar+共享缓存共享缓存CLOSCLOS 多级交换多级交换 结构结构1，单平面交换； 2，交换矩阵和控制统一，即 引擎承担了交换和控制双重功 能； 1，多块交换网板共同完成流量交换 2，控制和交换硬件分离 转发能力转发能力受限于交换网片的交换能力和 PCB 单板制造工艺，单引擎达 到 1TB 以上就很难提升。 多块交换网板同时分担业务流量， 相当于 N 倍于单级交换的能力，可 实现 510TB 交换容量 可靠性

13、可靠性引擎倒换会丢包控制平面与转发平面硬件物理分离， 引擎切换时不影响转发，可实现零 丢包 冗余能力冗余能力引擎 11 冗余，双引擎负载 分担式无冗余 引擎 11 冗余，交换网板 N+1 冗余 表 2 Crossbar 与 CLOS 交换架构对比 2)2) 关键部件更强的冗余能力关键部件更强的冗余能力 除了引擎和交换网板的冗余外，此类设备的电源一般均可以配置多块， 实现 N+M 的冗余，保证电源的可靠性更高；另外风扇的冗余也由原来的风 扇级冗余，提高到了风扇框冗余，每个独立的风扇框内多个风扇冗余。 3)3) 虚拟化能力虚拟化能力 数据中心的复杂度越来越高，需要管理的设备也越来越多，设备的虚拟

14、化可将同一层面（核心、汇聚、接入）的多台设备虚拟化为一台，进行设备 的横向整合，简化设备的配置和管理。 4)4) 突发大流量的缓冲能力突发大流量的缓冲能力 随着业务整合、资源共享、数据仓库、数据挖掘及智能分析等业务的部 署，数据中心内部和业务服务器之间的横向流量将会越来越多。流量模型的 变化会导致多服务器群向一个服务器群的流量、多个应用服务器向同一个数 据库服务器的流量越来越频繁。这种多对一的流量模型是一种典型的拥塞模 型，如果网络设备的缓存能力不够，将会导致丢包重传，导致业务系统的响 应时间变长或中断。 基于 CLOS 架构的数据中心级设备对端口的缓存容量进行扩容，并采用 了新一代的分布式缓

15、存机制，将原有的出方向缓存移至入方向，在同样的端 口缓存容量条件下，这种分布式的缓存机制可以更好的缓存多对一的拥塞模 型，能够更好的吸收数据中心的突发大流量。如图 4 所示。 图 4 分布式入端口报文缓存设计 5)5) 绿色节能绿色节能 数据中心是企业能耗的主要部门，同时高的能耗将会带来高的发热量，影响 设备的电子器件的稳定性，将到据中心设备的稳定运行。选用低能耗设备降低 发热量是提高可靠性的一个方面，另一方面设备本身的散热风道设计的合理与 否？能否更好的配合机房的空调循环？也影响着数据中心的可靠性。 为更好的配合机房冷热风道的布局，机柜中发热量较大的设备最后是前后散 热的风道设计。但普通的横

16、插槽设备一般是左右散热的方式，因此应优先考虑 采用竖插槽的设备，实现前后散热。 链路层链路层(L2)(L2)高可用设计高可用设计 在数据中心网络部署中，在实现设备和链路冗余提高可靠性的同时，也会带 来环路和复杂度的增加。一旦链路成环路很容易导致广播风暴，耗尽网络链路 及设备资源。 1)1) 常见组网方式常见组网方式 对于传统的数据中心服务器区接入汇聚交换网络，针对无环设计和有环设 计有多种选择方案。如图 5 所示。可以看出，三角形组网提供了更高的接入可 用性以及更灵活的服务器扩展能力，所以通常推荐此组网方式。 图 5 数据中心服务器接入汇聚常见组网 拓扑拓扑优点优点缺点缺点 1 1 倒倒 U U 型型 不启用 STP，好管理 VLAN 可以跨汇聚层交换机，服务器 部署灵活 必须通过链路聚合保证高可用性 汇聚交换机故障时，服务器无法感知，无 法实