《机房应急预案》由会员分享，可在线阅读，更多相关《机房应急预案（22页珍藏版）》请在金锄头文库上搜索。
1、机房应急预案-基础设施篇=11概述1.1目的为了提高XX机房突发事件的应急处理能力，最大程度地预防和减少突发事件及其 造成的损害，保障设备正常运行，制定本预案。本预案参照国家相关规范或行业规范， 对机房空调、电力、消防、漏水以及网络系统五种突发情况制定具体的应急工作流程。 1.2应急预案存放1）电子版本本应急预案电子版存放于单位共享服务器及所有项目组成员工作电脑中。2）纸质版本本应急预案纸质文档存放于XXX机房XXX室柜子内、XXX办公区办公室。1.3编制依据本应急预案编制依据单位安全管理规定及国家部分规范编写。1.4技术资料序号资料名称存放地点获取方式1UPS使用手册XXX机房XXX室柜子内
2、、XXX 办公区办公室申请批复后2配电柜使用手册XXX机房XXX室柜子内、XXX 办公区办公室申请批复后3机房专用空调操作维 护指南XXX机房XXX室柜子内、XXX 办公区办公室申请批复后4消防使用手册XXX机房XXX室柜子内、XXX 办公区办公室申请批复后5各系统培训资料XXX机房XXX室柜子内、XXX 办公区办公室申请批复后2适用范围及启动条件1）地域范围：本预案适用于本单位机房及网络运行中发生故障时使用。2）人员范围：本预案在执行中涉及的人员包括机房网络、基础设施运维人员，相关主管领导及机房内各系统负责人等。3）启动条件机房、网络运行中出现的一般性突发事件和重大突发事件。一般性突发事件：
3、是指机房、网络突发故障，将影响机房提供正常服务及网络服务 的能力且预计修复时间大于30分钟，此时应立即启动应急预案，主要包括：1）市电中断和UPS故障引起的电力供应中断。2）机房空调冷凝水或上下水管道漏水。3）机房温度超过30C。4）网络故障影响用户范围超过20%,预计修复时间在2小时以内。重大突发事件：是指一般性突发事件在特定的时间内无法修复或发生特殊事件时， 严重影响机房提供正常服务及网络服务的能力，并且修复时间大于2小时，此时除了立 即启动应急预案外还应升级为重大事件，其中包括但不限定于以下分类：1）机房出现火灾。2）市电中断和UPS故障引起的电力供应中断。3）机房温度超过40C。4）网
4、络故障造成全网中断，预计修复时间超过2小时。3应急组织和职责机房应急组名单如下：表1应急小组名单部门/岗位职责姓名联系方式备注单位领导重大应急决策指挥部门主任应急决策指挥应急小组组长负责评估应急事件并 协调处理应急预案操作岗启动应急预案并实施4应急响应流程4.1应急事件响应1、发生突发事件时，通过电话或当面通知应急小组组长报告情况。2、必要时第一时间启动应急预案。3、应急小组组长根据实际情况启动应急预案，参照应急恢复步骤组织协调相关人 员进行应急处理。4、电话通知机房内生产业务系统管理员做相应的应急措施。5、应急小组组长根据情况判定是否需要将事件升级为重大事件。6、事件处理完毕后，应急小组组长
5、将事件处理详细经过形成书面报告，上报部门 主任和单位领导。4.2应急事件升级在应急小组组长认定突发事件升级为重大事件时，应按以下步骤操作：1、立即通知部门主任。2、通知机房内生产业务系统管理员事件升级为严重，参照应急恢复步骤做相应的 应急措施。3、根据应急决策领导的决策指令处理故障。4、事件处理完毕后，应急小组组长将事件处理详细经过形成书面报告，上报部门 主任和单位领导。5应急执行流程5.1影响程度的评估表2影响程度评估表序号故障类型影响程度及范围一般性突发事件重大突发事件1市电中断和UPS 故障引起的电 力供应中断。影响程度大，修复时间大于 30分钟，小于2小时的电力 供应中断，影响范围为机
6、房 内所有设备及系统。影响程度为重大，修复时间 2小时以上的电力供应中 断，影响范围为机房内所有 设备及系统。2机房漏水影响程度一般，机房出现小 摊积水，修复时间大于30 分钟，小于2小时的机房漏 水，影响范围为机房内所有 设备及系统。影响程度重大，机房出现大 面积漏水，或者漏水修复时 间2小时以上的机房漏水， 影响范围为机房内所有设 备及系统。3机房温度过高影响程度大,机房温度超过 30度，修复时间大于30分 钟，小于2小时的，影响范 围为机房内所有设备及系 统。影响程度重大，机房温度超 过40度，修复时间2小时 以上的空调故障，影响范围 为机房内所有设备及系统。4机房火灾-影响程度重大，影
7、响范围为 机房内所有设备、系统及用 户。5.2宣告启动应急应急小组组长宣告启动应急预案，并通知应急预案操作岗所有成员参与预案的执 行。重大事件时要向部门主任、单位领导汇报。5.3应急恢复突发事件发生后，应急组长根据不同的启动条件执行应急预案进行应急恢复。序号启动条件恢复步骤操作人员备注1市电中断见步骤6.1应急小组组长、应急预案操作人员2UPS故障见步骤6.2应急小组组长、应急预案操作人员3网络系统故障见步骤6.3应急小组组长、应急预案操作人员4机房漏水见步骤6.4应急小组组长、应急预案操作人员5空调故障见步骤6.5应急小组组长、应急预案操作人员6机房火灾见步骤6.6应急小组组长、应急预案操作
8、人员表3应急恢复步骤5.4事后处理事后仔细分析事件发生的原因，查找引起事件发生的根本原因，力争杜绝类似问题 的再次发生；总结每次应急处理的经验与不足，及时进行总结记录，作为知识储备，进 行共享；重大事件处理完毕时，要向部门主任、单位领导及时汇报整个事件的处理过程， 并提出预防措施建议。5.5应急注意事项为了在突发事件发生时，能够及时顺畅地执行预案，应保证以下几点：平时多做应急演练，对应急小组的组织和预案执行力进行检验和加强。熟读应急预案，责任分工明确，应急流程掌握熟练。加强技术能力和业务能力。 通讯保持畅通，应急小组的人员要保持24小时手机开机。处理应急突发事件时要认真做好应急处理记录，有利于
9、进行问题回溯。6应急恢复步骤6.1强电系统故障市电中断1）当发生市电中断或同时收到UPS输入、电力测量表、空调及数据库读取异常等 告警短信，立即到机房检查UPS工作状态。非工作时间发生电力中断时，电话 联系保安人员进入机房确认是否停电，同时联系附近的紧急联系人协助处理， 并直接跳到第三步；如确认恢复电力供应时间较长，则需检查柴油发电机情况；2）检查UPS的负载量及电池的后备时间：具体详情可参照UPS操作说明或培 训资料中关于UPS操作中说明进行操作。3）检查柴油发电机油箱油位、机油油位、三滤情况、冷却液液位、发电机蓄电 池电压、控制系统情况及各连接部位情况。4）立即拨打物业电话，询问断电原因及
10、断电预计恢复时间，同时通知应急小组组 长。5）当发生单路供电中断时，应立即通知物业切换至另一路供电，观察UPS状态是 否供电正常，等待第一路供电恢复切回。6）如物业通知无法切换电路且30分钟内无法恢复供电，应立即按照顺序通知各 主要负责业务系统管理人员进行系统备份并关闭系统。同时维护项目组关闭机 房内负责的所有设备。7）向部门主任及单位领导汇报当前情况。8）确认所有服务器关闭后，直接手动拉下配电室对应开关，关闭网络设备。9）当机房温度超过40度时，为确保机房内服务器安全，经单位领导许可，维护 组人员按顺序直接拉下位于配电柜01后面所有机柜输出开关，关闭机房内所 有设备。10）待市电恢复供电后，
11、打开网络机柜对应的输出开关，启动网络设备。11）按附表五中的清单分批次对系统服务器加电，通知相关人员进行测试，并要求相关人员电话回复系统测试结果。12）如UPS故障造成的电力供应中断，手动重启UPS，查看UPS故障是否解除并恢 复正常。（在UPS显示屏上点击“开机”，查看UPS是否正常启动）13）如UPS故障依旧，立即通知各生产业务系统切换备份系统。14）向部门主任和单位领导汇报当前情况，并联系厂商对UPS进行检修。15）待所有系统恢复正常后，提交处理报告，上报部门主任和单位领导。6.2 UPS故障6.2.1 UPS电池漏液、冒烟1）发生机房电池漏液、冒烟或监控组人员发现机房电池柜冒烟，立即到
12、机房 查看电池状态。2）如发现是电池漏液、冒烟导致，应按照下列处理方法操作。并密切观察UPS工 作状态。3）关闭电池供电时，先将机房手提式干冰灭火器放置电池柜附近。4）打开两组电池柜，手动关闭电池开关。开关位于电池柜的下方，此时应用力向 左拨动电池开关，直至开关显示“OFF”状态。5）如电池出现火情，使用事先准备的手提式干冰灭火器进行灭火。6）确认无火情后，查看UPS状态，供电情况，立即联系厂商工程师进行检修。注意：关闭电池开关不会影响机房的正常供电。7）向部门主任做口头汇报，电话上报单位领导。8）事件处理完毕后，将事故处理报告，单位领导。电池火情无法控制导致机房火灾1）处理电池漏液、冒烟过程
13、中，无法使用手提灭火器控制火情。2）打开电池柜，手动关闭电池开关。3）立即按照机房火灾处理步骤进行操作。4）火灾处理完毕后，消除火灾报警，恢复市电，查看UPS运行状态，如无法恢复 市电，立即通知物业切换备用电路，观察UPS状态是否正常供电。5）立即联系UPS厂商进行处理并向部门主任做口头汇报，电话上报单位领导。6）统计火灾造成损失，提交相关更换UPS电池的申请。7）事件处理完毕后，将事故处理报告，上报部门主任和单位领导。6.2.3 UPS故障处理流程遂神放腰图2 UPS故障处理流程图6.3网络系统故障局部楼层网络中断1. 如果是局部楼层断网，首先判断是否是交换机故障；2. 远程PING交换机管
14、理地址（各楼层管理地址详见附表1）看是否可以正常PING 通3. 如果可以PING通，证明交换机本身没有故障，网线没有故障。交由网络管理员 处理。4. 如果不能PING通，说明交换机主线断或交换机宕机，应去弱电机房找到该楼层 交换机上联端口和电源灯状态是否正常，如果上联端口不亮（光纤口），证明主线有问 题，更换主线测试。5. 如果看到交换机电源灯不亮，证明交换机掉电，检查电源和电源线。6. 如果以上通过检查交换机和线路后故障现象仍然存在，由此判断可能交换机存 在异常，按交换机故障进行处理。交换机故障1. 当确认是交换机出现故障时，应首先从库房中找备用交换机进行更换；2. 若原有故障交换机有配置，应立即联系网络管理员对更换的交换机进行配置（网管应有所有交换机的配置备份）3. 配置完成后，测试是否正常；全网中断1. 首先测试网络的连通性，查看是否可以PING通网关地址，如果可以PING通说 明从PC到核心交换机之间的链路正常，如PING不通应检查接入交换机是否有故障、是 否掉电或者交换机主线是否不通；如果确实不通，按照局部楼层网络中断中的第4条、 第5条处理。2. 通过访问邮件、外网网站，判断是局域网问题还是广域网问题，如果局域网正 常；无法访问互联网说明广域网中断，向运营商进行报修。3. PING核心
