《IT调研与评估-数据架构部分V0.8》由会员分享,可在线阅读,更多相关《IT调研与评估-数据架构部分V0.8(26页珍藏版)》请在金锄头文库上搜索。
1、1. 数据架构调研与评估 数据架构是指企业总体的数据采集、处理、存储和管理等的总体架构,区别于应用架构,数据架构主要侧重于业务处理所需的信息和信息流,包括: 总体架构 数据标准化:企业级数据定义的标准化及管理水平; 数据质量:数据的准确性; 数据管理:对 IT 系统中的数据管理,包括:存储组织、清理、访问控制等;1.1. 总体数据架构1.1.1.现状描述目前,中国人寿的总体数据架构的建设是一个自底向上的过程:通过建立一个个应用,产生相应业务区域的数据模型,然后根据需要建立这些数据模型间的数据接口,从而以逐步“联接”的方式,形成中国人寿的总体数据架构。下图描述了这种基于应用建设所建立起来的数据架
2、构:总公司精算系统统括系统 CLAF统计报表统计报表CLAF银保通精算系统精算系统统计报表CLAFAMIS CBPS OBPS保单/客户数据代理人/机构数据收付费数据保单数据收付费数据提取保单数据财务报表统计数据保单及报表基础信息系统业务财务数据保单数据保单及报表财务报表统计数据省公司地市公司准备金准备金准备金上图摘自中国人寿应用系统介绍及计划,它描述了整个中国人寿主要的应用系统间的关联和数据交换,从总体上看来,中国人寿: 基本实现了业务信息的电子化,绝大多数业务处理都有应用系统支持; 主要的业务功能区域(如寿险实务、财务管理等)的信息处理都有较为成熟的应用架构和数据架构; 各个应用系统之间可
3、以利用数据文件进行数据交换,实现了信息的传递和共享; 银保通系统能够实现和银行间的实时数据交换; 基于数据库技术的信息处理体系基本成熟; 初步建立了以中间库为基础的数据交换平台,并基于它实现了企业数据综合查询统计功能; 初步建立了以统计报表工具为手段的数据统计和报表系统; 财务系统利用了数据仓库技术和 SAS 工具进行数据分析,除此之外,诸如上海还建立了自己的数据仓库系统; 基于 NOTES 的消息系统支持了公司的日常信息沟通工作; 基于影像技术的非结构化数据正在一些分公司使用,并逐步推广。1.1.1.1. 数据模型和应用的相关性 以应用为划分的“烟囱”结构,数据基于应用,并被锁定在应用系统中
4、- 数据并没有被作为一个单独的 IT 组成部分被规划和设计,而是作为应用系统的一部分,由于应用系统的供应商不同,并且其设计工作也缺乏相互之间的协调,因此,数据模型基本按照各个应用系统的功能需求进行设计和实现;- 由于缺乏有效的数据共享,在有些业务环节上,一个应用所需的数据无法从相关的其他应用系统中获得(如 AMIS 和财务系统间需要共享代理人佣金信息),而只好重复录入;- 另一方面,由于同一个数据可能存在多个数据源(从多个应用系统中被重复录入),由此导致了信息的不一致。 核心业务系统的总体数据组织主要是保单处理为中心,而较少倾向于以客户为中心; 结构化数据基本上都利用数据库技术实现,非结构化数
5、据只有少数地方使用影像技术实施了电子化,从应用程度上两者之间的集成度不高,影像工作流技术和其他应用系统之间没有能够做到无缝联接。 缺乏自动化和实时的数据交换- 以数据文件交换为主要手段 现有的数据交换方式通常是从一个应用中将数据导出到平台文件中,再传递到目标平台并并导入到目标应用系统中; 由于大批量的数据抽取工作会影响到正常的业务处理效率,因此通常的数据抽取都被设定在在晚间进行,所以数据的时效性较差(通常都在一天左右)。- 数据交换过程缺乏严格的数据校验、过程控制等 接口数据的错误经常是在导入目标系统时才发现,而不是作为系统数据质量控制的一部分,预先在源系统中进行合法性校验; 数据交换的过程缺
6、乏技术性控制:诸如大批量数据分割、数据传输的校验、重复操作的处理、操作回滚等。 对不同版本或开发商开发的,支撑同一业务应用,缺乏统一规定的应用系统数据外模式- 例如业务处理系统,总颁系统 CBPS 和深圳、江苏、上海的系统对外的数据模式和接口都不相同,和其他应用系统(如CLAF)的接口需要各自编写相应的接口软件来实现。从较好的做法上,对同一业务处理过程,应当定义标准的接口模式,并以此作为软件开发的指导或标准。例如:中国电信就对所有的计费系统开发商定义了系统对外接口标准,并禁止其分支机构购买不满足这一标准的产品。1.1.1.2. 数据物理层次和数据提升(staging) 事务(transacti
7、on )处理层数据- 应用系统中存储了完整的、原始的事务处理数据;- 应用系统中的主要事务处理数据都具备时间戳等增量识别标志;- 没有后备系统存储离线历史数据;- 数据分布在各个省公司或地市公司的应用系统中,多数省份实施的是服务器的物理集中;- 原始业务数据没有从省公司到总公司的复制;- 基本上没有省级逻辑集中的各省都已经实现将业务数据从地市服务器到省服务器的每日复制,实现了省级综合查询功能; 数据集成平台- 缺少完整统一的集成平台来集成各应用中的数据,建立企业级信息视图 轻度统计汇总数据- 利用应用系统自身的报表功能和统计功能实现;- 省级和地市级的 IT 人员完成了一定的查询和报表开发工作
8、,以满足业务部门的小规模要求;- 对于应用系统中没有的报表,利用手工(UTAB 或 EXCEL)实现;- 总公司层面缺乏对轻度汇总数据的全面集成; 高度汇总数据- 应用系统中具备部分高度汇总统计功能;- 对于应用系统中没有的报表,利用手工(UTAB 或 EXCEL)实现;- 由于手工工作太多,人为因素影响了数据的完整性和准确性,使得数据准确性和可信度不够高; 决策支持模型- 缺乏灵活的系统统计分析功能;- 缺乏企业级统一的数据平台,从而也就无法建立企业级的决策支持分析模型;- 目前的 SAS 系统主要基于财务数据的分析。 外部数据交换- 和银行之间,通过中间服务器实现了实时的数据交换;- 和监
9、管机构的数据交换通过报表的方式来进行;- 缺乏和其他机构(如公安系统)等的数据交换。1.1.2.差距分析1.1.2.1. 用户期望的状况通过调查,用户的期望集中在: 未来信息系统必须有长远规划,可支持多种管理模式; 加强信息系统的整合,建立对内对外信息披露的统一的、高效的平台,满足业务管理、销售支持、决策分析等各方面需要; 系统建设要面向客户和市场,支持业务流程和管理优化,支持应用系统在不同用户界面或渠道的拓展,如 Internet、电话、多媒体终端等; 充分利用录入的原始数据,提供丰富的、方便的统计查询及分析功能;指导我们的管理工作;业务处理和行政管理规范化、自动化、流程化、无纸化;另外,通
10、过信息系统建立预警机制,加强业务监控; 信息系统由封闭走向开放,将员工、客户、业务员、代理机构、合作伙伴有机结合起来。 用户认为目前信息系统距离业务需求的差距(优先级)距业务要求的主要差距12149198信息准确性不够可获取的信息量不丰富信息录入不方便信息处理效率不高信息查询界面不友好从上图中可以看出,目前的应用系统信息处理效率不高是用户反映最多的问题,其次是信息量不丰富和准确性不够。因此,上述各项中,建立高效的数据处理应用系统和统一集成的数据整合平台是用户的重点期望。1.1.2.2. 差距及原因编号ID观察Observation根本原因Root Cause影响范围Impact改进建议Acti
11、on04.1 整个信息系统缺乏总体性,数据接口设计、开发、维护、升级等工作复杂没有总体的业务信息流的定义,从而无法进行总体的数据流设计所有应用 定义业务处理的信息流,在此基础上定义信息系统的数据流,统一应用间数据交换定义O4.2 企业级总体监控信息难以获取,时效性差没有总体数据架构规划没有建立数据提升系统业务监控、管理和决策分阶段建立企业级统一的数据平台(One-View),包括:基础数据平台、各汇总层次数据、决策支持模型04.3 信息系统的组织和设计是面向业务流程处理的,而不是以客户为中心的旧的业务管理模式是面向处理流程的所有业务管理和客户服务建立以客户为中心的业务管理和客户服务模式,在此基
12、础上按照 CRM 的理念改造现有信息系统1.2. 数据标准化管理1.2.1.现状描述 基本上所有的业务和 IT 人员都充分认识到数据标准化对业务的重要性,但往往数据标准化被认为是 IT 部门的工作,而忽视了建立数据标准化的基础:业务信息定义的标准化; 但实际上,除了部分代码标准是总公司下发的以外,业务部门并没有统一制定业务信息的标准定义,因此,IT 部门也就缺乏必要的、统一的依据来制定数据标准; 从业务指标体系上,没有一个从总部制定的统一指标和统计报表体系,各不同部门、不同分支结构都有自行制定的统计报表,结果导致整个系统乃至报表制作人员的工作负载过大,重复工作也较多,最终的结果是导致报表的数据
13、全面性和准确性下降; 从组织保证上,并没有一个指定的团队来负责业务信息乃至数据定义的标准化工作; 各应用系统的开发商不同,而中国人寿对各供应商在数据标准化上也无法进行有效的控制,导致所遵循的数据标准不统一; 由于总颁应用系统普及面较广,对某一个具体的业务应用来讲,使用该应用系统的数据标准基本是统一的。1.2.1.1. 现有数据标准制定和管理制度 数据标准的制定由应用系统开发商负责,而不是由一个独立的数据规划部门负责; 开发商遵循自己的数据标准制定流程进行管理,基本属于开发管理的范畴,而不是 IT 管理和规划的范畴; 现行的数据管理是面向最终数据结果(如统计报表、精算数据准备等)的,而忽视了数据
14、定义和处理的标准化,各地对同一个名词的理解和定义可能都不相同。1.2.2.差距分析1.2.2.1. 用户期望的状况 对业务的重要性:在对现状调研的过程中,无论是业务人员还是 IT 人员,所有的受访者都一致认为信息标准化程度对业务是非常重要的。 业务信息标准化的优先级:目 前 最 应 当 统 一 的 业 务 信 息 标 准5191714产 品 信 息客 户 信 息保 单 信 息业 务 操 作 过 程 信 息上图是业务人员对信息标准化优先级的反馈统计,而从 IT 人员的反馈来看,唯一的区别是他们认为最优先的应当是业务操作过程信息:信 息 标 准 化 优 先 级38715 产 品 信 息客 户 信
15、息保 单 信 息业 务 操 作 过 程 信 息综合业务和 IT 人员的看法,我们可以认为,保单信息、客户信息和业务操作过程信息是当前最迫切的标准化需求,也是进行数据整合是实施数据清理的重点工作。 信息标准无法贯彻的原因:数 据 标 准 无 法 贯 彻 的 原 因12205不 适 应 业 务 需 要额 外 增 加 工 作 量 , 降 低效 率没 有 标 准 的 管 理 制 度 来保 证 实 施各 应 用 系 统 供 应 商 不 同由上图可以看出,几乎所有的受访者都不认为标准化不适应业务需要或会导致工作量增大,而认为标准无法贯彻的原因是没有管理制度;因此,我们初步认为,中国人寿有着很好的标准化实施
16、基础,而制定和贯彻标准化管理制定是这项工作的重点突破口。1.2.2.2. 差距及原因编号ID观察Observation根本原因Root Cause影响范围Impact改进建议Action04.1 应用间甚至业务功能和部门间信息沟通复杂没有统一数据标准所有 建立统一的业务信息标准,并在此基础上建立统一的数据标准O4.2 数据标准的贯彻能力弱缺乏授权的流程的制度保证标准的贯彻所有 建立数据标准的制定、发布、维护流程,并建立定期审计制度;严格控制应用开发的数据标准,将其作为开发项目验收条款的一部分1.3. 数据质量管理1.3.1.现状描述1.3.1.1. 数据质量管理现状 现行的数据质量标准- 中国人寿没有全公司范围的数据质量考核体系,现行的数据质量评价主要通过以下几方面进行: 业务考核或报告中,数据统计的准确度和完整性; 应用系统运行时所执行的业务逻辑校验; 数据交换时的合法性检查;