中国电信2009年ChinaNet扩容工程华为NE5000E单框升级至2+2集群方案方案编写：李昕 版本编号：1.4 方案审核： 方案批准： Confidential38 / 40文档可自由编辑打印目 录1 概述 12 NE5000E集群介绍 12.1 产品组件简介 12.1.1 CLC 22.1.2 CCC 42.2 集群系统介绍 82.3 2+2集群线缆连接 102.3.1 控制平面互联 102.3.2 数据层面互联 112.4 单级交换和多级交换 112.4.1 单级交换 112.4.2 多级交换 122.5 中央交换框MPU故障切换机制 132.5.1 系统各角色简介 132.5.2 MPU故障切换流程 133 NE5000E单框升级至2+2集群步骤 163.1 总体升级思路 163.2 2+2集群必备条件确认 173.2.1 VRF版本确认 173.2.2 硬件确认 173.3 2+2集群实施步骤 173.3.1 NE5000E 2+1安装 173.3.2 NE5000E单机操作系统升级 223.3.3 NE5000E单机并框操作 324 NE5000E多框2+2集群测试 365 应急回退处理 366 多机框升级后收尾工作 387 日常维护重点关注项 381 概述《NE5000E多框2+2集群指导手册》适用于华为公司数通产品NE5000E集群产品的新建和扩容工程的工程里集群交换框的勘测，本指导书可与NetStar工勘模块结合使用，指导勘测设计工程师进行数通产品的现场勘测、工程设计。
在阅读本指导书前，应该对华为数通产品有最基本的认识，我们假定本指导书的读者已经阅读了数通各产品的《技术手册》、《安装手册》等上述手册可以通过华为技术支持网站获得，网址 本文档仅限于中国电信集团2009年ChinaNet扩容工程相关用户及中盈优创相关人员使用2 NE5000E集群介绍2.1 产品组件简介Quidway NetEngine 5000E核心路由器（简称NE5000E）是华为公司按照电信级可靠性要求设计的一款大容量、高性能路由器NE5000E操作系统采用功能强大的通用路由平台VRP（Versatile Routing Platform），具有交换能力强、端口密度大和可靠性高的特点主要定位于运营商骨干网络的超级核心节点、城域网核心节点、大型IDC 出口节点和大型企业网络的核心在 NE5000E的基础上华为公司又开发出了NE5000E多框集群路由器NE5000E 多框集群路由器系统是由多台NE5000E 单机框设备通过华为公司新开发的集群交换框（CCC，Cluster Central Chassis）集群组成的逻辑单一的超级核心路由器，NE5000E单机框设备又称为线卡框（CLC，Cluster Line-card Chassis）。
2.1.1 CLCNE5000E单机框设备又称为线卡框（CLC，Cluster Line-card Chassis） 图1：此图为华为NE5000E单框产品，只适用于单框业务使用，不适用于集群图2：此图为华为NE5000E单框产品，既适用于单框业务，也适用于集群NE5000E多框集成，对于CLC框来说，是否有能力集成主要取决于MPU（主控板）、SFU（交换矩阵）和SFEA（适用于多框集成的交换矩阵）MPU位于图1和图2设备17、18号槽位（图1和图2设备上框从左边数第五、六槽位），SFU位于图1设备19、20、21、22号槽位（图1设备下框从左边数第五、六、七、八槽位），SFEA位于图2设备19、20、21、22号槽位（图2设备下框从左边数第五、六、七、八槽位）1）MPU 图3 图4图3所示为不适用于集成的MPU，板卡上存在3个RJ45接口（ETH0、console、AUX）图4所示为适用于集成的MPU，板卡上存在4个RJ45接口（ETH0、ETH1、console、AUX）。
简单的说，3口的MPU不能做集群，4口的MPU可以做集群2）SFU 图5图5所示为不适用于集成的SFU，只是用于进行单框数据交换的交换矩阵3）SFEA 图6图6所示为既适用于单框，也适用于集成的SFEA，单框情况下可以拥有原SFU的功能；在多框集群的功能下，可以用于高速光纤带的互联，进行多框之间的数据转发2.1.2 CCC集群交换框（CCC，Cluster Central Chassis），多框集群路由器系统是由多台NE5000E 单机框设备通过华为公司新开发的集群交换框组成的逻辑单一的超级核心路由器简而言之CCC的主要目的就是要将多个CLC框集成为一体，充当其大脑 2.1.2.1 前视图图7图7为CCC框的前视图，图中包括主控板、ICU、ECU1）主控板图8图8为CCC框主控板，最多可以插2个，提供主备切换。
2）ICU图9图9为ICU板，用于提供CCC框和LCC框之间控制平面的互连3）ECU 图10 图11图10为ECU板，用于提供CCC框和LCC框之间数据平面的互联图11为OFC光子卡，为CCC框和LCC框之间数据平面互联提供接口2.1.2.2 后视图图11图11为CCC框后视图，图中包括风扇，二级交换网板1）风扇图12图12为2个离心风扇 2）二级交换网板图13图13为二级交换网板，每台CCC框的满配为8块，6块就可以满足设备正常工作需求，另外2块留为备份2.2 集群系统介绍NE5000E 多框集群路由器主要定位于骨干网的超级核心节点，支持三层路由、MPLS 转发，同时也支持二层桥接其中，集群交换框作为2级交换模块及路由引擎模块，线卡框作为1级和3级交换和转发模块根据系统中集群交换框的数量，NE5000E多框集群路由器可以分为：1）CCC-0系统：CCC-0系统中没有集群交换框，两台线卡框直接相连两台线卡框分别称为主框和从框，该系统又被称为背靠背系统2）CCC-1系统：CCC-1系统中有一台集群交换框，线卡框的数量可以选择，最多可以连接4台线卡框。
3）CCC-2系统：CCC-2系统中有两台集群交换框，线卡框的数量可以选择，最多可以连接8台线卡框2.3 2+2集群线缆连接2.3.1 控制平面互联图142.3.2 数据层面互联图152.4 单级交换和多级交换2.4.1 单级交换1）就像个车站2）本地进站，本地出站入线出线2.4.2 多级交换如果一个交换网络中的交换单元可以分为N级，顺序命名为第1,2,…,N级,并且满足：– 所有入线都只与第1级交换单元连接；– 所有第1级交换单元都只与入线和第2级交换单元连接；– 所有第2级交换单元都只与第1级和第3级交换单元连接；– 依此类推，所有第N级交换单元都只与第N-1级和出线连接;则称这样的交换网络为多级交换网络，或N级交换网络12312344出线入线1）每级都像一个车站2）本地进站，异地出站3）对应交换芯片分别称之为S1、S2SN 4）S1进站，SN出站，中间为中转站，禁止入出在NE5000E的2+2集群中，CLC框为第一、三级交换，CCC框为第二级交换2.5 中央交换框MPU故障切换机制2.5.1 系统各角色简介1）每台中央交换框都存在各自的主用MPU、备用MPU，上图分别用“M”、“S”表示。
2）集群后的中央交换框，同一时间只存在一个“系统主”用来进行数据转发，和一个“系统备”，其余都为“slave”2.5.2 MPU故障切换流程1）正常情况下，中央交换框会选举出“主框主用主控板”为系统主，“备框主用主控板”为系统备，其余为“slave”如下图：“1”为系统主（图中标绿），“3”为系统备，“2、4”为“slave”2）当“主框主用主控板（系统主）”DOWN掉后（图中标红），会将“备框主用主控板”选举为“系统主”，“主框备用主控板”选举为系统备，其余为“slave”如下图：“3”为系统主（图中标绿），“2”为系统备，“4”为“slave”3）当“备框主用主控板（系统主）”DOWN掉后（图中标红），会将“主框备用主控板”选举为“系统主”，“备框备用主控板”选举为系统备，此时已经没有“slave”如下图：“2”为系统主（图中标绿），“4”为系统备4）当“主框备用主控板（系统主）”DOWN掉后（图中标红），会将“备框备用主控板”选举为“系统主”，这时已经不存在“系统备”和“slave”了如下图“4”为系统主（图中标绿）3 NE5000E单框升级至2+2集群步骤3.1 总体升级思路目前陕西国干NE5000E单框系统大包版本号为V200R003C02B265，此版本不适用于集群所需版本的最低要求，要更换版本到V300R006C02SPC001版本，需要设备中断业务重启；在设备版本达到既定需求后，需要指定系统再次重启后并入2+2集群的角色ID。
无论如何设备都需要进行重启操作，所以此次陕西国干2+2集群，针对现网运行的单框NE5000E并入集群操作，采取中断业务方式有两种操作流程供选择：1）首先进行NE5000E 2+1集群系统的安装调试；然后将现网单框NE5000E业务中断，进行大包版本升级后重启；之后设置系统再次重启后并入2+2集群的角色ID，进行设备断电；然后更换SFEA板卡，并连接集群与单框设备间的线缆，加电进行并框操作，并进行集群硬件测试；最后将翻译好的现网四维配置文件拷贝至中央交换框中，加载流量，进行流量测试2）首先进行NE5000E 2+1集群系统的安装调试；事先准备好两块适用于集群用的NE5000E的MPU（操作系统已升级至目标版本，且已设置好系统启动后并入2+2集群的角色ID）；将现网单框NE5000E终端业务，并断电，用事先准备好的MPU直接将原MPU替换，更换SFEA板卡，并连接集群与单框设备间的线缆，加电进行并框操作，并进行集群硬件测试；最后将翻译好的现网四维配置文件拷贝至中央交换框中，加载流量，进行流量测试综合以上两种操作流程，个人认为流程“2）”最为简介、安全、省时、方便，但是前提得需要有多余的两块MPU备件才行。
具体如何选择，请参考现实情况3.2 2+2集群必备条件确认3.2.1 VRF版本确认升级前需要检查当前设备的版本信息，各历史版本升级到当前的版本情况如下表所示历史版本信息：版本发布日期升级说明V200R0012006NE5000E单框可以直接升级V200R0022007NE5000E单框可以直接升级V200R003C022008-09NE5000E单框，背靠背可以直。