成果上报申请书成果名称适用于TB级数据库跨平台快速迁移方法研究关键词索引（3～5个）存储虚拟化;数据库;跨平台;快速迁移应用投资产品版权归属单位对企业现有标准规范的符合度：（按填写说明5）无成果来源：如果该成果来源于集团研发项目，请填写研发项目年度、项目名称及类型（按填写说明6）省内自立项目：中心资源数据库迁移专利情况：如果该成果产出相关专利，且专利处于国知局专利申请审查阶段或已授权，请说明专利名称、类型、申请号、状态、是否海外申请等情况按填写说明7）无成果简介：简要描述成果目的和意义，解决的问题，取得的社会和经济效益传统数据库迁移方法往往存在耗时较久、停机时间过长、业务中断影响范围较大等问题，若使用第三方软件如GOLDGATE进行迁移则需要高额软件费用针对此问题，我们提出了Portable Data Containers(PDC可移动数据封装)技术与Transportable Database（TDB数据库传输）技术相结合的海量数据库迁移方案， 使操作系统/存储层面和数据库层面数据迁移达最优组合， 并在本次中心资源库迁移中得到有效实践,实现跨平台迁移现网5T庞大数据量仅停机2小时，停机时间较传统跨平台迁移方式大为缩短，减少了因业务中断带来的经济损失，高效保障了业务连续性和可用性，取得显著效果。
省内试运行效果：描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等中心资源库是NGBOSS核心数据库之一,现网数据5T，由于设备更换需要将原SUN主机迁移至HP主机, 生产端存储由USPV(ST9990v)迁移到富士通DX8700，本次迁移由于采用了PDC和TDB结合的迁移方案，停机时间控制在2小时以内，较其它传统迁移方案缩短停机时间8小时以上，高效保障了业务连续性、可用性， 对往后NGBOSS核心系统数据库迁移也具极大的指导意义 同时，由于本次中心资源库迁移践行低成本高运营原则，避免购买第三方软件，节约费用约100万文章主体（3000字以上，可附在表格后）：根据成果研究类别，主体内容的要求有差异，具体要求见表格后的“填写说明8” 适用于TB级数据库跨平台快速迁移研究一、项目背景(一)存在的问题 随着电信运营商用户规模持续稳定增长和业务的不断发展，随之而来的是业务数据量的大量增长，而承载关键业务的NGBOSS核心业务系统数据库如中心资源库、营业库、账务库等更是日益庞大在日常运维过程中，当硬件资源不足以保障数据库系统稳定运行时，不可避免的面临数据库迁移问题针对TB级别的海量数据库，如何在保护业务数据的前提下，安全快速实施数据库迁移，尽可能缩短业务影响时间，降低割接过程对业务的影响，是当前面临的重要挑战。
针对此问题，需要从根本上制定科学、完善、高效的数据库安全迁移方案安徽省公司认真分析了影响数据库迁移的主要环节， 对基础环境、数据库迁移、应用系统迁移测试等环节重点把控，主要分为以下三个目标：1.检查源端、目标端的数据库运行环境，建议/实施合适手段以保障数据库的平稳迁移2.在保障业务数据的前提下,数据库迁移以尽量缩短割接时间为首要指标，并制定合理的快速回退预案3.尽可能缩短业务系统迁移时间,制定完善的应用系统测试用例, 以保障迁移前后的业务连续性、可用性安徽省公司现阶段，基于基础环境管控已有诸多规范，并拥有大量的应用迁移测试案例可供借鉴,而生产数据由生产端迁移至目标端过程中，如迁移时间掌控不足,则存在次日业务中断风险安徽省公司经过对传统迁移方案进行仔细分析发现，传统数据库迁移方案如数据导入导出、第三方软件(如GoldenGate)等，有效实现数据的跨平台迁移，但均存在迁移时间较长的特点显然，面对电信运营商NGBOSS核心业务系统TB级庞大数据量，传统数据迁移方案已无法满足快速迁移需要，研究一种基于TB级海量数据库安全快速迁移方法，实现高效运维，已势在必行 (二) 解决方案传统oracle数据库迁移方案主要有以下四种：1.数据导入导出 主要通过exp/imp或expdp/impdp实现, 该方式通过先从源端数据库导出备份文件，再将此文件导入目标端实现，操作简单、易实现。
该方式无需考虑操作系统平台和数据库版本，但其数据传输过程需通过FTP或TCP进行,且数据导入导出过程耗时较久，主要适用于数据量较小的中小型数据库迁移2. GoldenGate等第三方软件 GoldenGate 软件是一种基于日志的结构化数据复制软件，它通过解析源数据库日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与 目标数据库同步GoldenGate 可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而可以在应急系统、报表、实时数据 仓库供应、交易跟踪、数据同步、集中/分发、容灾等多个场景下应用 其GoldenGate TDM 数据复制过程示意图如下: 由此可见，GoldenGate TDM 是一种基于软件的数据复制方式，它从数据库的日志解析数据的变化（变化数据量约占日志的四分之一）GoldenGate TDM将数据变化通过固有格式进行转换，通过 TCP/IP 网络传输，无需依赖于数据库自身的传递方式，并且通过高达 10:1 的数据压缩率以实现降低带宽需求目标在目标端，GoldenGate TDM 可以通过交易重组，分批加载等技术手段大大加快数据投递的速度和效率，降低目标系统的资源占用，可以在亚秒级实现大量数据的复制。
但通过GoldenGate实现数据库同步对生产端有一定性能影响，同时需要通过传统方式进行目标数据库的初始化，消耗时间较长，并且GoldenGate为高额付费软件, 本着低成本高效运营原则，不建议采用此方案3. Portable Data Containers (PDC可移动数据封装) 在存储级别底层复制将数据文件传输到异构的磁盘阵列上，文件传输速度快但不支持跨平台oracle数据库迁移，因为不同操作系统下，目标端实例无法识别从源端传输过来的表空间数据文件4.可迁移数据TDB(Transportable Database)TDB组件的设计初衷就是要解决在不同Oracle实例之间移植数据库数据的时候产生的问题，可以完成跨平台的表空间转换TDB是将数据库的元数据导出后，到目标端直接将元数据导入因元数据数据量很小，而真正对数据的迁移将会在操作系统或存储层面进行，这样可以利用操作系统和存储的优势来迁移数据，在数据库层面只做必要的转换，使数据文件可用，尽量缩短迁移所需的宕机时间该方式通常采用ftp等数据文件传输方式，文件传输耗时久,主要适用于数据量较小的中小型数据库迁移综上，对传统oracle数据库迁移方案优劣比较如下： 迁移方案优点缺点数据导入导出( exp/imp或 expdp/impdp)1. 支持跨平台数据库传输2. 操作简单、易实现1. 不适用于大数据量数据库迁移2. 数据导入导出时间久3. 文件传输时间久第三方软件(GoldenGate)1. 支持跨平台数据转换2. 数据压缩率达10:1,对网络带宽需求较低3. 目标端可通过交易重组、分批加载等方式加快数据投递速度1. 数据库同步期间对生产端有一定性能影响2. 目标库初始化时间久3. 需额外购买第三方软件，不符合低成本高效运营原则PDC(Portable Data Containers)1. 通过存储级别底层复制,文件传输速度快.2. 可实现不同操作系统下数据文件传输1. 不支持跨平台数据库迁移TDB(Transportable Database)1. 可快速实现不同平台的数据文件格式转换1. 文件传输耗时久 本创新中，提出了Portable Data Containers(PDC可移动数据封装)技术与Transportable Database（TDB数据库传输）技术相结合的海量数据库迁移方案， 即融合PDC和TDB各自优点, 互补两种方案的不足，实现操作系统/存储层面和数据库层面数据迁移的最优组合,并在本次中心资源库迁移中得到有效实践,实现跨平台迁移现网5T庞大数据量仅停机2小时，取得显著效果，对往后NGBOSS核心系统数据库迁移也具极大的指导意义。
二、实现方案本创新针对传统oracle数据库迁移方案的缺点，提出Storage Foundation提供的Portable Data Containers(PDC可移动数据封装)技术与Oracle提供的Transportable Database（TDB数据库传输）技术相结合的海量数据库迁移方案，并在本次中心资源库(现网5T)数据库迁移过程中得以成功实施，为TB级海量数据库迁移在生产运维中的有效实践方案下面结合附图，对本创新涉及的核心技术点作详细的阐述1. 通过卷管理动态多路径技术，实现存储的虚拟化、异构存储的统一管理主机可以访问到对应的存储是通过通道管理实现的，而通道管理通常由存储厂商提供而不同的UNIX平台，存储厂商的为了维护方便，各自之间的多路径软件并不能共用这就造成存储虚拟化在异构环境下存在障碍卷管理动态多路径技术通过独立的阵列扫描模块，标明所有挂接的磁盘设备，配置链路管理数据库，自动根据厂商VID对应不同的动态库(Array-Support-Library), 并对磁盘信息做标准化处理；通过链路管理层，根据阵列扫描模块得到的信息, 对通过不同路径识别的相同磁盘做绑定处理，通过统一的多路径设备驱动向操作系统提供标准磁盘接口，自动根据不同厂商阵列特点调用(Array Policy Manager)动态库进行链路流量算法优化。
图(1) 卷管理动态多路径技术原理示意图 存储的虚拟化是开放的存储系统的基础，最大限度屏蔽不同硬件平台技术实现的差异，可以将更多地将精力放在业务上；系统扩展具有最大限度的兼容性，摆脱硬件技术限制，为采购降低了门槛统一的资源池，便于优化业务系统对于存储空间的使用，方便的根据业务需要合理配置硬件资源，降低硬件设备投资图(2) PDC跨平台文件传输示意图 Storage Foundation提供的Portable Data Containers(PDC可移动数据封装)技术， PDC可以为终端用户的应用程序提供对存储区的访问通道，而与操作环境无关仅通过此方法仅能实现数据库数据文件传输，但目标数据库实例仍无法识别被传输过来的数据文件2. 通过TDB技术实现跨平台数据文件转换. 图3示出示了本次中心资源库迁移环境示意图，中心资源数据库是NGBOSS核心数据库之一，现网数据5T，因设备更换需要将原有SUN主机迁移至HP主机、生产端存储由USPV(ST9990v)迁移至富士通DX8700、容灾端存储由XP12K迁移至XP24K图(3) 本次中心资源库迁移环境示意图 Oracle 的Transportable Database（TDB传输数据库）技术利用其rman备份恢复工具中的covert database特性来实现强大的异构平台数据库之间整个数据库迁移功能，10g版本要求endianess必须相同，11g开始可实现endianess之间相互迁移。
该技术的核心思想是将源端数据库中包含回滚段信息的数据文件转换为目标端数据库可识别的数据文件格式，直接在目标端数据库应用转换后的数据文件来实现数据库的跨平台数据库迁移，但其瓶颈在于在操作系统层面进行数据文件传输需通过FTP等方式，文件传输所需时间窗口较长 下面结合图4，说明本次中心资源库迁移应用PD。