广发核心系统项目_数据清理方案分析

《广发核心系统项目_数据清理方案分析》由会员分享，可在线阅读，更多相关《广发核心系统项目_数据清理方案分析（12页珍藏版）》请在金锄头文库上搜索。

1、广发核心系统项目广发核心系统项目概要设计书概要设计书( (数据清理数据清理) )V1.0V1.020132013 年年 1111月月516389753.doc目录目录1 1概述概述. .3 31.11.21.31.41.5理论背景.3需求背景.3功能清单.错错误！未定义书签。误！未定义书签。关键策略.4限制/假设.错错误！未定义书签。误！未定义书签。2 2术语定义术语定义. .错误！未定义书签。2.12.22.32.42.5清理编号.5清理类型.5清理时间.5保留期限.6清理状态.73 3数据结构数据结构. .8 83.1数据结构描述.83.1.1数据清理参数表.84 4功能描述功能描述. .

2、9 94.1数据清理参数表维护.94.2技术平台数据下载和清理.错错误！未定义书签。误！未定义书签。4.3应用系统数据下载和清理.94.3.1应用系统数据下载和清理.错错误！未定义书签。误！未定义书签。4.3.2计算清理日组件.94.3.3计算保留日组件.104.3.4数据清理控制组件.105 5附录附录. .1 10 0第 2 页 共 12 页【内部资料请勿外泄】516389753.doc1 1 概述概述1.11.1 理论背景理论背景完整的数据生命周期是：应用系统的数据在生产应用系统中的在线阶段，归档阶段，销毁阶段的单一流向过程。完整的核心银行系统数据管理流程涉及主机和开放平台，其流程包括：

3、1、 主机数据下载:定期将符合条件的应用数据生成文件，下载至开放平台。2、主机数据清理:定期将符合条件的应用数据删除。3、主机数据归档:装载下载的数据文件至开放平台的档案管理系统。4、归档数据销毁: 定期销毁开放平台档案管理系统中的应用数据。本文档描述的是主机数据清理的总体方案。1.21.2 需求背景需求背景历史数据是指各种档案中带有日期项的数据，这些日期项可能是键值之一（如交易历史表） ，也可能不是键值（例如账户主档中的销户日期） ，根据这些日期和记录某些状态， 就能够确定那些数据已经过期，无需在主机中继续保留而可以被清除。历史数据清理是保护资源， 提高系统性能的重要措施之一，因此数据清理的

4、标准在需求分析阶段就要确定下来， 但清理的时间和数据保留的期限却会随着数据量的增长和业务的发展而不断变化。比如票据业务的需求是 “对于已结清的票据记录， 如果结清期限超过 1 年的，允许在年末统一作物理删除” 。在这个需求中，数据清理的时间（年末）和数据保留的期限（1 年） ，可能会随着业务的大幅增长而发生改变（例如改为每月末清理，保留半年内数据） ，但清理的条件“已结清的票据记录”却是固定不变的。为了降低需求变更所带来的程序修改，我们将“数据清理时间”和“数据保留期限”单独抽取出来，变成可以定义维护的参数，而清理的条件和具体要清理那些数据库表的记录则留给应用程序来完成。第 3 页 共 12

5、页【内部资料请勿外泄】516389753.doc1.31.3 关键策略关键策略数据清理动作统一由应用发起。应用清理程序每天都启动执行，根据处理对象(清理编号)调用数据清理日期查询组件检查当天是否需要进行数据清理；如果需要数据清理， 清理日期查询组件则返回记录的最小保留日期（详见接口说明文档） ，应用根据最小保留日期进行如下处理。1 1、档案无需支持、档案无需支持 2424 小时。小时。应用程序扫描需要清理的档案，将符合条件的记录作删除。需要考虑所有必要的条件， 包括： 记录最后修改日小于最小保留日期； 记录属于业务无效的状态；有关联的表的主从记录需要同步删除。2 2、档案需要支持、档案需要支持

6、 2424 小时小时( (针对双主档针对双主档) )。第一步：应用程序扫描批量档案，确定需要删除那些档案的那些记录（日期小于最小保留日期的记录） ，将这些记录的 KEY 值登记下来生成 BSP 档案（注意：这些 KEY 值不一定带有日期数据，例如已销户超过一定期限的活期存款的KEY 值其实是存款账号） 。第二步：根据 BSP 档案发动 BSP 处理，通过 KEY 值真正删除联机档案中的相关记录。这时应用的 BSP 程序可能还需要再次检查记录的状态和日期，以免发生意外错误（例如已销户的活期存款被销户重开了） 。1.41.4 性能因素性能因素1、采用程序的方式删除记录，系统会登记DB2 LOG，对

7、于一次清理大量的数据会引起系统性能下降。因此在需求分析时，对于涉及大数据量的清理，尽量通过增加清理次数的方式来分散每次清理的数据量。2、数据清理后一般要对数据库表进行 REORG，也可以参照日常系统运行的 REORG 执行日期，来安排数据清理的运行实施。第 4 页 共 12 页【内部资料请勿外泄】516389753.doc2 2 术语定义术语定义数据清理模块的核心数据结构是数据清理参数表，其包含如下要素。2.12.1 清理编号清理编号清理编号是 8 位的字符串， 它代表了一类数据清理的规则，由应用技术人员维护。为了方便记忆，可以定义为数据库表的名称。2.22.2 清理类型清理类型对同一个清理编

8、号之下清理规则的再次划分，是 20 位字符串的自由格式，由应用自己定义和使用。比如对交易历史的清理，在同一清理编号下，不同的模块账号，或者不同的产品可能有不同的清理规则。2.32.3 清理时间清理时间表示数据清理的时间要求， 即在什么时间点来做数据清理， 在 IBS CORE 中，数据清理时间由清理频率和清理周期组成：清理频率清理频率日清理周期清理周期NN摘要摘要N=199，表示相对于年初每 NN 天就启动数据清理。例如 NN =01 表示每天都清理， NN =05 表示每5天清理一次。N=17，表示每周 N 启动数据清理。例如 N=1 表示周一清理，N=7 表示每周日清理。NN=0110，表

9、示每旬的 NN 日启动清理。例如 NN =01 表示每旬的第1日清理，当 NN=10表示每旬末清理。NN=0131，表示每个月的 NN 日启动清理。例如 NN =01 表示每月的1日清理，NN =15 表示每月的15日清理, 特别地当 NN=31表示每月月末清理。NN=0131，表示每季度的 NN 日启动清理。例如 NN =01 表示3、 6、 9、 12月的1日清理， NN =15表示3、6、9、12月的15日清理，特别地当 NN=31表示季末清理。第 5 页 共 12 页【内部资料请勿外泄】周旬NNN月NN季NN516389753.doc半年年指定NN=0131，表示每半年的 NN 日启动

10、清理。例如 NN =01 表示6、12月的1日清理，NN =15 表NN示6、12月的15日清理，特别地当 NN=31表示6月30日、12月31日清理。MMDD表示指定的月、日，特别地，如果设置为0229MMDD则只会每4年清理一次。CCYYMMDD于指定的日期清理。清理的启动需要按批量的假期表进行计算， 当出现假期跨一个清理周期的时候，仍然以当天的批量处理时间为准。例如定义每天清理一次，每次保留 5 天以内的数据，且假设国庆节 7 天都为假期不跑批量，那么在 9 月 30 日执行清理的时候，只是清理 9 月 26 日前的数据，10 月 8 日上班的第一天仍然可以查询到 9月 2630 日的数

11、据， 而不仅仅是 10 月 37 日的数据。 但在 10 月 8 日执行数据清理时，会删除 10 月 4 日前的所有数据。如果遇到清理日是假期而没有运行批量时， 系统需要在下一个批量日执行数据清理。2.42.4 保留期限保留期限代表数据保留的时间长短要求，在 IBS CORE 中，数据保留时间由保留频率和保留周期组成：保留频率保留频率日月年数据保留期限是相对于清理时间而言的， 为了不要在月末等特殊日期执行数据清理， 清理的时间可能会改在其它日期执行，为避免因此而造成的将一个业务周期的数据拆分成两段的情况，系统提供一个“是否允许按月拆分”的选项，当该选项为“不允许”时，表示数据必须按月为周期进行

12、保留。例如每个月的 3 日启动数据清理，要求保留一个月的数据，那么在 5 月 3日清理时，如果是“不允许”按月拆分，系统会保留4 月 1 日5 月 3 日的数据，如果是“允许”按月拆分，系统就只保留 4 月 4 日5 月 3 日的数据。第 6 页 共 12 页【内部资料请勿外泄】保留周期保留周期NNNNNNN摘要摘要NN=000999，表示保留NN天的数据，特别地，当NN=000时，表示一天都不保留。NN=0199，表示保留NN个月的数据。NN=0150，表示保留NN年的数据。516389753.doc系统控制按日保留时， “是否允许按月拆分” 选项是不可选的， 且必须为 “允许” 。清理时间

13、和保留期限之间的参数配置可能会出现不作清理的情况， 需要在详细设计时考虑。例如选择按日清理，又要保留一个完整月的数据，那么每月2日以后的清理动作将会是多余的。2.52.5 清理状态清理状态为了简化和方便参数维护，为每条记录建立清理状态：Y 或 N。Y-表示清理记录有效；N-表示清理记录无效。系统不提供参数的删除交易， 而是由参数维护人员通过修改删除状态为 “N”来实现，这样当希望暂时不作数据清理时，只需要修改清理状态即可。第 7 页 共 12 页【内部资料请勿外泄】516389753.doc3 3 数据结构数据结构3.13.1 数据结构描述数据结构描述3.1.13.1.1 数据清理参数表数据清

14、理参数表 描述：用于定义数据清理时间、保留期限及其他相关要素。 表 COLUMN 描述：IDBNKCLN_NOCLN_TYPDESSTSCLN_FRYCLN_CYCRES_FRYRES-CYCRES-FLGCLN_FLG名称银行号清理编号清理类型说明状态清理频率清理周期保留频率保留周期是否允许按月拆分自动处理标志类型/长度9(03)X(08)X(20)X(60)X(01)X(01)9(08)X(01)9(03)X(01)X(1)X(20)X(60)9(08)X(10)X(10)清理的数据编号，可以使用数据库表名。自由格式，由应用负责解释和使用Y-有效，N-无效D-日，W-周，T-旬，M-月，Q

15、-季，H-半年，Y-年，S-指定根据清理频率不同取值不同D-日， M-月，Y-年根据保留频率不同取值含义不同Y-允许，N-不允许Y-自动，由平台集中调应用组件下载和清理；N-应用程序自行下载和清理当自动处理标志为Y时，必选备注COM_NAM2清理组件名REMARKUPT_DTUPT_TLRUPT_BRH备注最后更新日期最后修改柜员最后修改机构号 KEY，INDEX 描述：IDTYPECOLUMNSEQ1PKPK231U1CI23IDBNKCLN_NOCLN_TYPBNKCLN_NOCLN_TYPA/DAAAAAA备注第 8 页 共 12 页【内部资料请勿外泄】516389753.doc4 4

16、功能描述功能描述4.14.1 参数表维护参数表维护 功能：对数据清理参数表记录做增加、修改、查询、浏览。系统限定增加、修改交易只能由总行柜员执行，查询和浏览交易则不作限定。 输入：参数表中定义的各数据项。 输出：交易成功画面 处理： 只允许总行级柜员使用； 增加、修改时更新参数档案（使用统一的参数表） ； 增加、修改时登记历史档案，并作改前改后的明细登记；4.24.2 模块组件模块组件4.2.14.2.1 清理操作查询组件清理操作查询组件 功能：根据会计日期、清理编号等输入，计算当天是否清理日，以及清理的保留日期；与输入数据相匹配，参数表中指示当日需要进行清理的参数记录可能有多笔，对应输出描述中的数组；绝大多数应用程序调用此组件即可。 输入：输入数据英文名QDDT-BKQDDT-NOQDDT-TYPEQDDT-AC-DATE输入数据中文名银行号代码种类清理类型会计日期数 据 类 型9(3)X(8)X(20)9(8)输入属性OptionalMandatoryOptionalMandatory备注 输出：输出数据英文名QDDT-RC-MMOQDDT-RC-CODEQDDT-RN-BKQDD