《IBM_P系列小型机日常维护故障定位故障排除手册.doc》由会员分享，可在线阅读，更多相关《IBM_P系列小型机日常维护故障定位故障排除手册.doc（25页珍藏版）》请在金锄头文库上搜索。
1、IBM P系列小型机日常维护/故障定位/故障排除手册1. 机房环境及物理检查1.1. 机房内环境要求1.1.1. 温度与湿度：最佳工作温度：20-25摄氏度极限工作温度：10-40摄氏度 湿度: 8-80%(在23摄氏度条件下)如果不是工作在最佳温度，请注意改善机房环境1.1.2. 机房要保证清洁.机房应保持清洁，若空气灰尘过多，很容易造成资源读写错误及磁盘机中磁盘或读写磁头毁损。1.1.3. 电源要求电 压: 要求电压稳定, 尖峰电压会损坏设备电压范围: 220V +/- 10%, 即200-240V, 50-60Hz电源功率: 视机器类型和系统配置而定电源线 : 标准的零, 地, 火三相电
2、, 其中零, 地电压不得超过1.0V.电源接驳: 用符合电流要求的空气开关或其他设备和主机电源线接驳,保证计算机系统的可靠工作应使用稳压电源和UPS，并建议配备发电机组;对于冗于电源的接入,建议采用两路单独输入.1.2. 硬件检查检查服务器、磁阵的安装、电源线、7133和主机接线符合要求。1.3. 服务器状态检查及其相关命令1.3.1. 外观状态检查：1. 当服务器处于启动和正常工作状态时，其前面板上的液晶显示屏上应无信息显示。2. 当液晶显示器上出现带数字和字母的信息时，说明有硬件告警。可以通过查询相关机型的Service Guide查到相应告警原因，情况严重的，则要立即通知IBM技术专家进
3、行问题排查。1.3.2. 命令状态检查1、运行lsdev 命令配以各种参数，所列各种设备状态都应为Available。#lsdev C H S a 列出系统中可用设备。#lsdev Cc processor 列出系统中的所有CPU。#lsdev Cc memory 列出系统中的所有内存。#lsdev Cc disk 列出系统中的所有硬盘。#lsdev -Cc adapter | grep ent 列出系统中的所有网卡#lsdev -Cc adapter | grep scsi 列出系统中的所有SCSI卡。#lsdev -Cc adapter | grep ssa 列出系统中的所有SSA卡。2、
4、lspv命令#lspv 显示系统中可用的PV。#lspv hdiskn 显示hdiskn的具体信息。#lsdev Cc pdisk 显示磁盘阵列的硬盘的具体信息。对SSA硬盘的检测：在对主机进行工作之前可以先把磁盘阵列上电，等主机完全启动后，登录到主机上，运行以下命令“ lsdev Cc pdisk “,应该可以看到所有SSA硬盘，并且状态应为Available.。3、 lsattr命令# lsattr E l mem0 列出系统中内存mem0的大小，本项目中内存有4GB。4 、lsvg命令#lsvg 列出系统中所有的vg。#lsvg rootvg 列出rootvg的详细信息。#lsvg o
5、列出激活的vg5、 oslevel命令#oslevel 显示操作系统版本信息。6、 netstat命令#netstat in 显示系统中各网卡的配置。可查看网卡的IP配置好了没有。7、 # diag 命令通过运行# diag 命令运行硬件诊断程序检测主机内所有硬件，检测结果为 “No trouble found ”显示各部分工作正常。8、 使用#diag命令（选择：Task Selection- SSA Service Aids）对SSA硬盘链路连接的校验，可以通过SSA 工具里的Link Verification 来检测。如有必要，可以用 Certify Disk运行硬盘诊断部分进行硬盘的表
6、面分析测试 ，由1% 至100%，检测结果显示主机内置硬盘的所有扇区均读写正常。9、 lsps a 查看PAGING SPACE的使用情况如果使用率超过70%，就需要采取措施。10、 lsvg o | lsvg il | grep i stale查看有无stale的lv，如果输入该命令之后有输出结果，就需要采取措施11、 有否发给root用户的错误报告(mail)。12、 检查双机状态lssrc g cluster 检查ha三个工作进程是否激活，/usr/sbin/cluster/clstat a检查双机状态是否up，并检查hacmp.out日志，看是否有异常信息。13、 用vmstat, t
7、opas，sar 命令检查系统性能检查cpumemoyrIO ，是否存在性能瓶颈。14、 检查能否顺利进入CDE界面如果不能进入的话，要检查/etc/hosts表中有否错误的项目。15、 用smitty ssaraid 查看磁盘阵列RAID盘的状态是否是Good。如果是degrade或其他状态表示RAID盘出现问题了16、 用sysdumpdev l 查看系统的DUMP设置是否正常。17、 用instfix ik | grep ML当前操作系统补丁版本补丁程序(PTF)是否满足稳定运行的需要。一般要求433操作系统补丁要打到10以上，5.1操作系统补丁要打到5以上18 、使用df kP查看磁盘
8、空间占用率请确保以下文件系统的占用率高于80%立即上报： / /var /usr /home /tmp /zxindata/zxinbak，其余文件系统的占用率高于95%立即上报也可以到各文件系统下使用组合命令：find . size +2048 o ctime 1 exec ls l ; 查出大于1M或一天之内修改过的文件。19、系统性能 内存：svmon、lsps -a Cpu ：sar 硬盘：iostat 文件系统：filemon 其他命令： vmstat、topas、lvmstat20、磁带机是否需要清洗 /usr/lpp/diagnostics/bin/utape -cd rmt0
9、n显示结果为磁带机使用的小时数，若大于72小时，则不论磁带机黄灯是否亮都应用清洁带清洗21、syncd 参数值： 缺省值：60；范围：1 到任何正整数显示： grep syncd /sbin/rc.boot 或 vi /sbin/rc.boot更改： 更改在下次引导后有效，而且是永久有效。备用方法是使用命令 kill 来终止守护程序syncd 并用命令 /usr/sbin/syncd interval 从命令行重新启动它。诊断： 当 syncd 正在运行时，文件的 I/O 被阻塞了。调整： 在缺省级别上，这个参数几乎不影响性能。不推荐对这个参数进行更改。为了保持数据完整性对于 HACMP而使
10、syncd interval 明显缩小，会导致性能下降。更改命令为： #vi /sbin/rc.boot22、检查 errdaemon, srcmstr 是否正常运行# ps -ef|grep err# ps -ef|grep src1.4. 性能监控与调优通过命令vmstat 1 来观察.kthr memory page faults cpu- - - - -r b avm fre re pi po fr sr cy in sy cs us sy id wa命令解析：vmstat 命令的输出可以反映系统整体运行状况，包括cpu、内存、虚拟页面、系统进程和系统调用情况。检查CPU是否为瓶颈,分
11、别检查CPU的四项数值和kthr的两项数值.检查MEM是否为瓶颈,分别检查Memory的两项数值和Page 的六项数值.命令解析： sar可以用来收集反映系统运行状况，在这里主要是查看CPU的运行状况，CPU是否负载均衡,是否存在分配不均的情况。通过命令ps gv | more来观察。PID TTY STAT TIME PGIN SIZE RSS LIM TSIZ TRS %CPU %MEM COMMAND 0 - A 4:20 7 12 14516 xx 0 14504 0.0 5.0 swapper 1 - A 1:33 103 78952 79044 32768 25 36 0.0 29
12、.0 /etc/init命令解析：ps可以用来查看进程的当前状态。在这里通过参数的配搭，可以观察目前正在运行的进程所耗的时间,CPU和memory 量.其中，%CPU表示进程所占用的CPU资源情况，%MEM表示进程所占用的内存情况。主要检查是否有标示为的僵尸进程耗用系统资源，以及informix 数据库的oninit进程的系统消耗情况。在机器上用dd命令进行磁盘阵列的写操作校验，与此同时用iostat 1 d hdiskX观察磁盘。Disks: % tm_act Kbps tps Kb_read Kb_wrtn命令解析: iostat可以用来查看系统的 I/O的输入输出情况，在这里主要查看阵列
13、上的硬盘的每秒读写量，同时估算磁盘阵列读写速度HHhHhh 通过命令netstat a 进行查看。Active Internet connections (including servers)Proto Recv-Q Send-Q Local Address Foreign Address (state)命令解析: netstat可以用来查看系统的网络情况，在这里主要是查看网络客户端连接的情况和开销，检查参数为state，如有死连接，state状态为fin_wait, 这样耗用系统网络资源，从而导致网络性能下降构成瓶颈。1.5. 安全工作守则a.系统定期进行系统备份，系统盘建议镜像。b.当有系
14、统变更或进行操作系统补丁安装的时候，必须作一次系统备份。c.在7133和shark发现有硬盘故障的时候，请提醒客户注意当天的数据备份。在更换硬盘的时候，请确认当天数据备份已经完成。d.在更换敏感的电子元件，时候一定要防静电。e.在插拔外围设备的时候，请把外围设备下电。f.在进行主机微码升级时候，请留意微码的完整性。 g.在进行文件删除的时候，请留意当前路径是否正确。h.在进行文件解压缩的时候，请留意参数和路径。2. 系统日常维护流程2.1. 系统启动系统启动正常顺序如下：首先对外设（磁盘阵列、磁带库等）加电。待所有外设加电自检完成后， 主机加电正常起机。主机加电后,系统进行自检,在液晶显示屏显示”ok”后,才能按白色POWER键起机.启动主机HACMP，启动后可用命令 tail -f /tmp/hacmp.out 来检查启动情况，在HACMP未完全启动前不要进行下一步。检查服务器的网络地址，路由表(可用netstat -i , nets
