高端交换机产品应急故障处理手册

《高端交换机产品应急故障处理手册》由会员分享，可在线阅读，更多相关《高端交换机产品应急故障处理手册（62页珍藏版）》请在金锄头文库上搜索。

1、高端交换机产品应急故障处理手册高端交换机产品应急故障处理手册日期：杭州华三通信技术有限公司 版权所有，未经授权不得使用与传播 熟悉网络故障的应急处理流程熟悉网络故障的应急处理流程 熟悉熟悉12500交换机应急故障处理方法交换机应急故障处理方法 熟悉熟悉9500E交换机应急故障处理方法交换机应急故障处理方法 熟悉熟悉9500交换机应急故障处理方法交换机应急故障处理方法 熟悉熟悉12500 /9500E交换机诊断分析功能交换机诊断分析功能课程目标课程目标学习完本课程，您应该能够：学习完本课程，您应该能够： 网络故障的应急处理流程网络故障的应急处理流程 12500/9500E交换机应急故障处理方法交

2、换机应急故障处理方法 9500交换机应急故障处理方法交换机应急故障处理方法 12500/9500E硬件诊断与分析功能硬件诊断与分析功能目录目录3网络故障级别定义及时限要求网络故障级别定义及时限要求故障级别故障级别故障级别定义故障级别定义响应时间响应时间业务恢复时间业务恢复时间问题解决时间问题解决时间一级故障 （ Proble m Critical）设备在运行中出现整机系统瘫 痪或服务中断，导致设备的基 本功能不能实现或全面退化的 故障。需要立即关注并给予最 高优先级解决该故障。立即响应2小时Reset arp | ospf | bgp | Sysname stp disable Sysname

3、 undo mac-addressreboot slot slot-number 对于确认了故障设备的情况下，关电是一对于确认了故障设备的情况下，关电是一 种简单的业务切换方法，但务必确认清楚种简单的业务切换方法，但务必确认清楚 后再操作后再操作19网络变更注意事项网络变更注意事项变更包括设备升级，配置修改，设备扩容，组网方案修改变更包括设备升级，配置修改，设备扩容，组网方案修改 等，经常会引发问题等，经常会引发问题在线业务的设备变更需要经过变更申请流程，变更应给予在线业务的设备变更需要经过变更申请流程，变更应给予 相对充足的时间，选择对业务影响最小的时间进行相对充足的时间，选择对业务影响最小

4、的时间进行必须制定变更方案，包括详细操作方法以及应急处理步骤，必须制定变更方案，包括详细操作方法以及应急处理步骤， 回退方案等，经过确认后方可执行回退方案等，经过确认后方可执行涉及到业务方的变更需要相关部门配合进行业务的验证，涉及到业务方的变更需要相关部门配合进行业务的验证， 变更完成后至少观察变更完成后至少观察2小时小时20故障排查基础命令故障排查基础命令查看故障发生前后相关日志查看故障发生前后相关日志display logbuffer /注意是否有异常日志或配置操作查看故障发生前后相关日志查看故障发生前后相关日志hidecmd_dis diagnose-file buffer /要注意有没

5、有故障对应时间点的错误打印查看设备单板状态，内存，查看设备单板状态，内存，cpu利用率利用率display version/注意单板状态，运行时间display cpu historydisplay memory slot slot-number查看上下行端口流量统计查看上下行端口流量统计display interface /注意端口状态，流量大小，错包统计查看路由，查看路由，arp，mac等表项等表项display ip routing-table | arp | mac-address /接口，vlan下一跳等信息进行进行ping，tracert等排查操作等排查操作ping ip -a s

6、ource-ip | -c count | -f | -h ttl | -i interface-type interface-number | - m interval | -n | -p pad | -q | -r | -s packet-size | -t timeout | -tos tos | -v | -vpn- instance vpn-instance-name * 21应急维护操作注意事项应急维护操作注意事项执行的相关命令记录到文件中以便后续定位执行的相关命令记录到文件中以便后续定位确认是设备故障后在采取动作前收集诊断信息到文件中确认是设备故障后在采取动作前收集诊断信息到文件

7、中对需动作的设备确认清楚防止误操作对需动作的设备确认清楚防止误操作对采取的动作影响有判断，采取的动作可恢复原状对采取的动作影响有判断，采取的动作可恢复原状执行操作后要等待一定时间来确认执行的效果执行操作后要等待一定时间来确认执行的效果反复重启的单板更换备件前需要确认运行配置和保存配置反复重启的单板更换备件前需要确认运行配置和保存配置 是否一致，单板启动过程中不要保存配置是否一致，单板启动过程中不要保存配置更换主控板后需要软件版本一致方可注册成功更换主控板后需要软件版本一致方可注册成功不要使用非认证的不要使用非认证的U盘插入交换机上下载文件盘插入交换机上下载文件现场预备现场预备console线，

8、网线螺丝刀，机柜门钥匙等必备用具线，网线螺丝刀，机柜门钥匙等必备用具22业务恢复后需收集的故障信息业务恢复后需收集的故障信息9500交换机返回两种文件：故障时诊断交换机返回两种文件：故障时诊断 信息及日志文件信息及日志文件12500/9500E交换机返回三种文件：故交换机返回三种文件：故 障时诊断信息，主备单板的日志文件，障时诊断信息，主备单板的日志文件， 主备单板的诊断日志主备单板的诊断日志(如果发生了主备倒如果发生了主备倒 换，一定还要收集换，一定还要收集原先主控板原先主控板上的诊断上的诊断 和日志信息）和日志信息）故障描述（时间，现象，处理经过等）故障描述（时间，现象，处理经过等） 及组

9、网信息，操作记录等及组网信息，操作记录等 网络故障的应急处理流程网络故障的应急处理流程 12500/9500E交换机应急故障处理方法交换机应急故障处理方法 9500交换机应急故障处理方法交换机应急故障处理方法 12500/9500E硬件诊断与分析功能硬件诊断与分析功能目录目录2412500转发架构转发架构PPFAPPPFAPPPFAPPPFAPFEFEFE LCSFCMRCPULSWCPUCPUCPUCPUCPU8/18块线卡最多9块网板主备两块主控板LC和MR之间是GE通道SFC和MR之间是FE通道9X3.125G SerD259500E转发架构转发架构PUMAfp4 fp1fp5fp3fp

10、0fp2BDPUMAfp0 fp1fp2fp3fp4fp5ACPUMAfp0 fp1fp2fp3fp4fp5PUMAfp4 2612500/9500E硬件故障一般处理流程（一）硬件故障一般处理流程（一）如果设备出现故障，首先执行如果设备出现故障，首先执行dis device命令，检查是否有单板变命令，检查是否有单板变 为为fualt或者或者offline状态，状态，如果有单板状态异常，将业务切换到备用链路，更换备件如果有单板状态异常，将业务切换到备用链路，更换备件如果单板状态正常，但是转发存在故障，那么执行如果单板状态正常，但是转发存在故障，那么执行dis logbuffer命命 令令如果打印

11、如果打印Hard-ware error信息，那么所在单板存在故障，更换备用信息，那么所在单板存在故障，更换备用 单板单板如果没有打印任何异常信息，且检查受到业务影响的范围，如果只如果没有打印任何异常信息，且检查受到业务影响的范围，如果只 局限在一个端口，那么可以怀疑是端口异常，进行端口异常的相关局限在一个端口，那么可以怀疑是端口异常，进行端口异常的相关 处理处理如果打印如果打印Board fault: chassis X slot X,那么就可以怀疑单板那么就可以怀疑单板x存在存在 转发故障，进行转发相关处理转发故障，进行转发相关处理2712500/9500E硬件故障一般处理流程（二）硬件故障

12、一般处理流程（二）如果打印如果打印Board fault: chassis X slot X, or chassis Y slot Y ，那，那 么表明在么表明在X或者或者y单板中有一个存在转发故障，请在隐含模式下执行单板中有一个存在转发故障，请在隐含模式下执行 _dis dri diag hardware-diag-action information命令，查看输出命令，查看输出 结果：结果：如果结果中存在故障时间对应的信息，例如：Slot 3:1. 2010-08-09, 13:45:53 board is reset by AI.那么可能那么可能3号槽存在故障，需要进行处理号槽存在故障，

13、需要进行处理如果结果中不存在故障时间对应的信息，且X或者y中存在主控 板，那么首先怀疑是主控板转发故障，接着依次对X和y进行处 理2812500/9500E硬件故障一般处理流程（三）硬件故障一般处理流程（三）如果打印Forwarding faul: Slot x to Slot y信息，且所有 打印的Forwarding fault 中都有接口板x，除了这个单板 之外的其他单板之间都没有Forwarding fault，那么可以 怀疑是接口板x转发故障对于工作在load single模式下的95E设备，如果有打印 Forwarding faul: Slot x to Slot y信息，且所有打

14、印的 Forwarding fault 中涉及到多个单板之间，而非仅仅聚焦 于某一个单板，那么可以怀疑是主用主控板转发故障2912500/9500E硬件故障一般处理流程（四）硬件故障一般处理流程（四）对于工作模式在load balance的95E设备，如果有打印 Forwarding fault: Slot x to Slot y信息，且所有打印的 Forwarding fault 中涉及到多个单板之间，而非仅仅聚焦 于某一个单板，那么故障可能是主用主控板，也可能是 备用主控板，需要结合其他信息继续分析对于125设备，如果打印Forwarding fault涉及到多个单 板之间，而非仅仅聚焦于

15、某一个单板，那么怀疑是125网 板的转发故障，进行相关的处理如果无法确定故障所在，无法评估受到影响的业务，且 故障紧迫，需要立即恢复业务，则可以执行整框掉电重 启的动作3012500/9500E关键日志（一）关键日志（一）硬件故障示例，隔离或更换故障单板硬件故障示例，隔离或更换故障单板#Mar 29 19:23:28:826 2010 H3C SYSM/3/DRV_SYSM_PROMPT:25M clock-fault interrupt happen! Reboot now./主控板时钟失效#Mar 29 19:23:28:826 2010 H3C SYSM/3/DRV_SYSM_PROMPT:125M clock-fault interrupt happen! Reboot now./主控板时钟失效#Mar 29 19:23:28:826 2010 H3C 62.5M CLK1-fault interrupt happen!/交换网板时钟失效3112500/9500E关键日志（二）关键日志（二）硬件故障示例，芯片失效硬件故障示例，芯片失效%262806%Nov 6 20:32:32:756 2008 sy