太平洋保险数据中心搬迁百日攻坚战

《太平洋保险数据中心搬迁百日攻坚战》由会员分享，可在线阅读，更多相关《太平洋保险数据中心搬迁百日攻坚战（12页珍藏版）》请在金锄头文库上搜索。

1、太平洋保险数据中心搬迁百日攻坚战导读 从 2009 年 9 月 11 日第一次系统试点切换，到 12 月 19 日新一代数据中心的关键应用系统全部实现安全迁移，太平洋保险只用了 100 天的时间，就完成了南汇数据中心到新一代数据中心的安全搬迁。经历一年多的考察，2008 年 3 月，中国太平洋保险(集团)股份有限公司(以下简称太平洋保险)新一代数据中心选址上海市徐汇区田林路 201 号，由漕河泾仪表电子工业园区内一个旧厂房改造而成。2008 年 5 月，旧厂房改造装修工程启动，太平洋保险内部称之为“201” 装修工程项目。招标公告显示，“201”装修工程项目一期投入资金 1500 万元，二期投

2、入 7000 万元。按照规划，建成之后的太平洋保险新一代数据中心，总建筑面积 7500 平方米、净机房占地面积 3000 多平方米。实际上，在 2005 年，太平洋保险就曾在上海南汇区建设了一个数据中心，规划满足 35 年内的使用需求。然而，仅仅 2 年多时间，南汇数据中心就显得捉襟见肘，电力供应不足、机房容量饱和，难以满足业务增长和集团 IT 建设的需要。南汇数据中心投入使用之后的几年间，太平洋保险的业务量几乎呈直线型增长，与此同时，太平洋保险从 2001 年起逐步规划实施的集团 IT 大集中和信息化整合，也不断取得新进展。“当时，我们要从分布式的 IT 架构逐步转向 IT 大集中，并在 2

3、006 年成立了集团层面的 IT 运行中心，恰好赶上业务迅速增长，一时间所有的压力都集中到了数据中心。” 太平洋保险(集团)股份有限公司信息技术总监黄雪英说。“为了缓解南汇数据中心的饱和压力，原本计划用于办公的南汇数据中心三层，被改造为机房。”太平洋保险(集团 )股份有限公司 IT 运行中心总经理徐建国说。不过，这些努力都未能本质上改变南汇数据中心的饱和压力。“我们还尝试过计划租用一些外部机房以缓解南汇数据中心的紧张局面。”黄雪英说，“但是，经过一番寻找，我们发现根本没有符合要求的机房。最终我们认为只有现在的废旧厂房可以满足机房尺寸、高度各方面的条件。”在新一代数据中心所在的田林路旧厂房改造装

4、修的同时，由集团总裁亲自挂帅、各业务部门领导组成的数据中心搬迁领导小组也宣告成立，黄雪英则担任工作小组的负责人。这使得搬迁项目启动之初，就已在组织上得到了强有力的保障。2008 年 5 月，太平洋保险新一代数据中心搬迁项目正式启动。数据中心搬迁工作小组随即进行应用系统梳理及基础架构设计，并在 2008 年 10 月份完成应用梳理，2009 年 5 月份完成基础架构设计。2009 年 5 月中旬开始数据中心基础架构搭建， 7 月份完成系统开发测试的搬迁工作，8 月20 日生产机房开始正式搬迁。从 2009 年 9 月 11 日第一次系统试点切换，到 12 月 19 日新一代数据中心的关键应用系统

5、全部实现安全迁移，太平洋保险只用了 100 天的时间，就完成了南汇数据中心到新一代数据中心的安全搬迁。对于太平洋保险来说，新一代数据中心搬迁，并不仅仅是一个单纯的物理搬迁过程。在此之前，必须对现有的 180 多个系统进行全面梳理，找出系统之间的逻辑关系，以确定这些系统的搬迁顺序。“借此机会，我们希望将这么多年 IT 系统重新梳理，对于太平洋保险的 IT 基础来说是一次划时代的革新。” 太平洋保险(集团 )股份有限公司信息技术总监黄雪英说。早在数据中心搬迁工作启动之初，太平洋保险就对整体数据中心搬迁工作进行了详细规划。在历时一年半的项目规划中，系统应用梳理和基础架构的设计无疑是耗费时间最长的阶段

6、。从 2008 年 5 月数据中心搬迁项目启动到 2009 年 5 月，太平洋保险 IT 团队用了整整一年时间，完成系统应用梳理和基础架构的设计。据太平洋保险(集团 )股份有限公司 IT 运行中心副总经理程平介绍，基础架构的设计主要是针对机房空间、供电、散热、安全和虚拟化应用的考虑;应用梳理是从未来集团信息化管理角度对原有各类应用从项目角度进行梳理，理清相互间的关联关系。系统应用梳理和基础架构设计工作主要分为三大阶段：2008 年 5 月开始系统应用梳理;从2008 年底到 2009 年 5 月，完成基础架构设计( 网络隔离、虚拟化监控、数据备份等);从 2009 年 5月份到 2009 年

7、8 月，新一代数据中心完成硬件设施的搬迁以及新数据中心生产系统的正式启用。运维难题一直以来，太平洋保险 IT 团队的工作重点都放在信息系统的建设，从支撑业务的角度完成一个又一个项目，并没有真正对所有的信息系统做过一次详细梳理，弄清楚系统之间的逻辑关系。“在没有进行数据大集中之前，太平洋保险与大部分金融企业一样，整个集团的 IT 架构是分布式的，直到 2006 年才正式成立集团层面的 IT 运行中心，而 IT 运行中心成立前，运维、开发混在一起，没有进行专业化分工，这都为以后的系统建设埋下隐患。”黄雪英说。早期开发的一些系统，并没有形成固化的开发和运维流程，相应系统与其他系统的关联关系也往往没有

8、形成严格的文档。由于很多都是开发人员参与后期运维，文档不全、权限不清的状况在短期内并没有给运维造成太大障碍。后来，由于 IT 员工的更替，了解相应系统开发过程的运维人员越来越少，让 IT 运行中心逐渐感受到了运维的压力。“在日常运维过程中，我们经常发现虽然系统能用，但以前的文档都找不到了，系统开发人员也不在，很多运维人员经过第二轮、第三轮的接手，对于整个系统并不清楚，出了问题更是无从下手。”程平说。在系统应用梳理过程中，程平发现，有很多老系统，参与过开发的 IT 人员早已不在，经过运维人员一代一代传下来，对于系统如何开发、存在什么问题等等都不知道，这就造成了很多“黑户口”的存在。一个系统可能不

9、仅仅跑了一个应用，由于当时资源紧张等特殊因素，很可能其他一些应用也寄生其中。这些问题伴随着开发人员一波一波地更替，逐渐被人们淡忘，为以后的生产系统埋下了隐患。“黑户口”的存在，正好解释了一些日常运维中出现的让人啼笑皆非的“诡异”现象。当某个系统关闭之后，有时候会出现一些看似毫无关联的系统随之不能正常使用的现象，原因就是这个系统内部寄生了一些其他应用。事实上，不仅是太平洋保险，在众多信息化建设开始较早的企业中，这种情形时常发生，却很难解决。在没有太多外部成功经验可供参考的情形下，太平洋保险希望解决“黑户口”问题，无疑是一项充满挑战的工作。流程化管理“对 180 多个系统进行梳理，相当于对所有系统

10、在新平台上重新做一次上线工作。IT 团 队一方面要忙于既定的工作，另一方面需要对原有系统重新梳理，制定手册，在系统梳理那段时间，大家经常轮换加班。”程平说，“虽然压力很大，但是大家普遍 认为这是一件非常有意义的事情。”IT 运行中心投入大量精力做应用梳理，理清每个应用部组件的关系，建立一整套 CMDB 关系体系，并设立信 息变更流程，所有信息由应用部门统一管理。当项目信息还没有报批的时候，相关的信息就已经进入 CMDB 中。从项目的分解到应用的所有者再到应用负责人所有 信息都会在CMDB 中呈现。经过近一年的努力，太平洋保险 IT 团队对 180 多个应用系统都做了手册，把原来缺失的文档补齐。

11、使得手册真正可以交付 给生产、运营中心去做维护。“我们在这个过程中花了大量的心血，我们不仅梳理了各个系统间的相互关系，更把所有系统都以文档的形式做成手册，并在新 一代数据中心按照手册实际模拟演练，为以后的系统切换奠定了坚实的基础。” 太平洋保险(集团 )股份有限公司 IT 运行中心总经理徐建国说。与 此同时，IT 团队针对新平台开发了许多新功能、新应用，对整个系统做了一次升级换代。通过建立开发手册，开发出来的系统直接交付运行中心部署、实施。“在 这个项目中，整个集团 IT线条高度一致，目标明确，仅用了一年时间就完成了基础架架构的设计和应用系统梳理工作。”徐建国说。手册中对开发 人员的权限做出了

12、严格限制，过去，很多开发人员有生产环境的权限，相互间的关系难以理清。通过此次新一代数据中心搬迁的契机，太平洋保险对开发人员和运维 人员进行了严格的专业化分工，开发人员只管开发，运维人员根据开发手册负责运维，开发与运维之间通过文档交付，真正做到专业化分工，流程化管理。“此 次数据中心搬迁，不仅仅是一次技术升级，更是对 IT 从专业化管理角度进行了一次全方位升级。”黄雪英评价道。经过一年半时间的应用梳理和基 础架构设计，2009 年 9 月 11 日，太平洋保险新一代数据中心项目正式进入最为关键的系统切换阶段。然而，究竟是选择传统的物理搬迁方式还 是应用迁移的方式，新一代数据中心项目团队又一次面临

13、两难抉择。物理搬迁适用于小规模搬迁，耗用资源少，但存在很大风险。应用搬迁风险小，有回退余地，适 合大规模重要生产系统的搬迁，但需要庞大的资源支持。此次搬迁涉及 180 多个系统，各系统之间关联性又很强，一次整体搬迁过去，难以成功。 在此之前，南汇数据中心采用的是物理搬迁方式，但此次新一代数据中心搬迁以应用导向为主，太平洋保险最终决定采用应用迁移的方式。分批次搬迁搬迁模式的难题刚解决，项目团队又遇到了更大的挑战。由于采用应用迁移方式，需要大量硬件资源，同时工作 繁杂且工作量巨大，需要分批次逐步搬迁，造成在一段时间内两个数据中心同时都是生产中心。“两个数据中心同时需要维护，还有大量搬迁测试工 作，

14、相当于一下子工作量变成了平常的34 倍，系统搬迁切换的 3 个月我们基本上早晚连轴转。”IT 运营中心副总经理程平说。按照原定计 划，2009 年 5 月需要完成基础设施搬迁，但是由于恰巧赶上梅雨天气，基础设施搬迁直到 8 月份才完成，这就使得整个项目工期推迟了 3 个月。为了在预定期限 内完成搬迁任务，项目团队不得不将系统切换时间压缩到 3 个月。此外，已经搬迁的应用和没有搬迁的应用都需要做广域网连接，如何保障这些系统 稳定性和安全性，也是项目团队重点考虑的问题。而对需要搬迁的系统进行科学的批次划分，无疑是确保稳定性和安全性的重中之重。经过再三思 考，最终项目团队决定将 180 多个系统做个

15、相互关系表，但发现系统之间的关系很紧密难以切分。于是，项目团队将所有系统做成矩阵模型，通过数学方法找出哪 些系统关联关系最强，最后分成了 5 个批次切换。依次是示范应用批次、第一批次财险的核心系统、第二批次寿险的核心系统、第三批次集团核心系统以及第四批次 次要系统。为了避免数据大规模在广域网上传输，项目团队决定将财险系统与寿险系统分开搬迁。此外，由于第一次系统搬迁没有经验，期间可能会遇到很 多问题，项目团队将第一次系统搬迁定义为示范搬迁，选取 5 个具有代表性的系统。其他批次的系统搬迁数量都在 2530 个系统之间。“第一次示范搬迁 的 5 个系统是我们精心筛选出来的，整个搬迁涵盖财、寿集团系

16、统，有利于项目团队熟悉搬迁流程，同时也包含大型核心系统以及四川分公司老系统的搬迁。”程平 解释第一次示范搬迁 5 个系统的用意。示范搬迁涵盖整个系统搬迁的方方面面，项目团队希望在第一次示范搬迁过程中，尽可能消化掉所有可能出现 的问题，为下一阶段的搬迁做好充分准备。“当时整个集团筹备 H 股上市，已经到了最后的攻坚阶段，作为 IT 部门我们必须要给财务提供准确的报 表，如果 9 月 11 日第一次示范搬迁不成功，报表不能如期出来，整个上市会受到影响。”IT 运行中心总经理徐建国说。为此，项目团队在集团核 心财务系统搬迁上做了很多准备工作和应急方案，并且在财务系统切换当天就做好应急系统的维护，一旦搬迁不成功可以短时间内迅速恢复原状。IT “赶考”“新一代数据中心搬迁，是集团 2009 年两大风险项目之一，所以整个集团高度重视。”徐建国说。集团专门成立了由集团总 裁亲自挂帅搬迁领导小组，具体工作则由信息技术总监黄雪英领衔的工作小组负责，工作小组成员则涵盖了财险、寿险等众多业务单元的领导。搬迁 领导小组全面审议每一次数据搬迁计划，定