《金融行业数据仓库项目的数据质量管理应用》由会员分享，可在线阅读，更多相关《金融行业数据仓库项目的数据质量管理应用（51页珍藏版）》请在金锄头文库上搜索。
1、密级：保密期限：姥事邻童7 太警 工程硕士研究生学位论文题目：全融征些邀堡金崖亟且的麴握透量鳘理应旦学号：0 3 R 0 0 6 8姓名：位毖专业：筮鲑王程导师：拯塞刖学院：筮鲑堂院2 0 0 6 年6 月1 日独创性( 或创新性) 声明本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一
2、切相关责任。本人签名：蕊蘸日期：皇堡垒厶曼1 2关于论文使用授权的说明学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定)保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权书。本人签名：导师签名：檄。日期：兰! ! 曼墨12日期：金融行业数据仓库项目的
3、数据质量管理应用摘要建设企业级中央数据仓库是目前我国金融企业，特别是各大银行未来几年的重要发展方向，通过建立数据仓库可以有效提高金融企业风险管理、客户关系管理、市场营销的水平。但是数据仓库项目的整体质量严重依赖于各源系统的数据质量和仓库的处理加工质量，不少银行的数据仓库项目由于数据质量的问题造成了很严重的数据错误，导致客户对数据仓库的数据信任度下降，因此如何在数据仓库项目中管理和控制好数据的质量是建设数据仓库项目中一个比较新、比较迫切，同时也是比较棘手的问题。本论文的主要贡献在于：对金融业的数据仓库的数据质量问题进行了系统的分析和归类，并对这些质量问题首次提出了控制、管理和提升方案。根据数据质
4、量的管理流程和控制方案，基于T e r a d a t a 数据仓库和其E T L 系统，建立了一套数据质量管理系统，通过该系统对数据仓库的数据质量进行自动的监控和管理。通过本论文对金融业数据仓库的数据质量分析结果和建立的数据仓库质量管理系统，已经成为N C R 中国公司数据仓库事业部的实施标准。本论文的具体工作包括金融行业数据仓库项目建设中数据质量问题的需求和现状分析，以及数据质量管理系统的架构和设计。并在最后介绍了数据质量管理系统在某银行的数据仓库项目中的实现。关键字：金融，数据仓库，数据质量，T e r a d a t aL复文M A N A G E D A T AQ U A LIT Y
5、lN FlN A N O ED A T AW A R E H O U S EA B S T R A C TC u r r e n t l yb u i l d i n gc e n t r a l i z e dd a t aw a r e h o u s ef o re n t e r p r i s es c a l es y s t e m si so n eo ft h em a j o rd i r e c t i o n sf o rC h i n a SF i n a n c i a lI TD e v e l o p m e n t ，e s p e c i a l l yt
6、h em a j o rb a n k s T h r o u g hd a t aw a r e h o u s i n gw ec a ne f f e c t i v e l yi m p r o v eF i n a n c i a lE n t e r p r i s eM a n a g e m e n to v e rr i s k ，c u s t o m e rr e l a t i o n s h i p ，s a l e sa n dm a r k e t i n g H o w e v e r , t h eo v e r a l lq u a l i t yo f d
7、 a t aw a r e h o u s i n gp r o j e c t sd e p e n df u n d a m e n t a l l yo nt h eq u a l i t yo fd a t af r o md i f f e r e n td a t as o u r c e s a n dt h ep r o c e s s i n gt o w a r dt h ed a t a T h ei s s u eo f d a t aq u a l i t yh a sb e e nc a u s i n gs e r i o u s 。d a t ap r o b
8、l e m si nb a n kd a t aw a r e h o u s i n gp r o j e c t s ，w h i c hh a su n d e r m i n e dc u s t o m e r s t r u s ta n dc o n f i d e n c ei nd a t aw a r e h o u s i n g T h ep o i n t st h i st e x tw a n tt oc o n t r i b u t el i e si n ：1 ：A n a l y z ea n dc a t e g o r i z ep r o b l e
9、 m si nd a t aq u a l i t yd u r i n gF i n a n c i a lD a t aW a r e h o u s i n gp r o j e c t s ，a n db r i n gf o r w a r do r i g i n a ls o l u t i o n sf o rt h ec o n t r o l ，m a n a g e m e n ta n di m p r o v e m e n tf o rt h e s ep r o b l e m s 2 ：P r o v i d e sd a t aq u a l i t ys o
10、 l u t i o nb a s eo nT e r a d a t ad a t aw a r e h o u s ea n dE T Ls y s t e m D a t aq u a l i t ys y s t e mm o n i t o r a n dm a n a g ed a t aq u a l i t ya u t o m a t i c 3 ：T h ed a t aq u a l i t ys y s t e mh a sb e c o m et h es t a n d a r do fN C RT e r a d a t ab r a n c h T h ed e
11、 t a i l so ft h ea r t i c l ei n c l u d et h ea n a l y s i so fd a t aq u a l i t yi nd a t aw a r e h o u s ep r o j e c ta n dt h er e q u i r e m e n t s T h i sk i n do fs y s t e mh a db e e nu t i l i z e di nan a t i o n a lb a n k K E YW O R D S ：f i n a n c e ，d a t aw a r e h o u s e ，
12、d a t aq u a l i t y , T e r a d a t a1 1 背景第一章引言随着金融自由化、国际化的步伐加快，以及中国金融体制改革的逐步深入和即将开放国内金融市场，国内的金融企业面临着前所未有的竞争压力。外资银行进入中国市场会采取差异化的策略，利用标准化的产品、先进的管理和服务、领先的信息技术来争取本地的黄金客户，继而利用优秀的客户关系管理和差异化优势继续扩张市场。严峻的市场形势要求我国的金融企业尤其是银行要加快管理信息系统的建设，加强经营管理和决策支持，了解客户的需求和信用风险，开发新的产品和服务，利用现有渠道对客户进行交叉销售，增加赢利能力，并在业务领域提供差异化服务
13、。目前我国国内的金融企业大多已经建立起各种各样的信息管理系统，例如银行核心业务系统、总账信息管理系统、信贷管理系统、重要客户信息管理系统等等，但是金融企业的管理信息系统还存在着很大的问题，这些问题主要集中在：信息不能共享；信息不能整合；基础数据缺乏；信息资源未能充分利用。因此，各银行都有了通过现有核心业务系统和管理信息系统，构建企业级数据仓库的目标，也有部分金融企业已经建立起自己的企业级数据仓库。预计在不远的将来，数据仓库将是金融企业运营中不可或缺的管理信息系统之一。但是随着金融企业越来越多的数据仓库建立起来，在仓库系统中的数据质量问题逐渐的暴露出来，劣质的数据会导致数据仓库无法实现最初的建设
14、目标，如何发现、管理和提升数据质量问题，是摆在数据仓库建设者面前一个至关重要的问题。1 2 、数据仓库项目中的数据质量案例在数据仓库项目中，数据质量引起的问题很多，质量案例比比皆是，下面举的例子是我们在实施数据仓库中实际遇到的一部分质量问题：某银行的业务系统没有唯一客户识别机制，造成银行没有办法确定唯一的客户，因此各部门的营销战略是孤立的，营销效果和风险控制水平低下。某电信公司建立的数据仓库无法保存所有的语音详单，因此无法确定各省公司上传的通话数据的准确性。某企业的下属公司提交的销售数据被人为改动了，总公司不能准确获得下属公司的销售情况，因此做出了错误的销售计划。数据仓库的文件服务器磁盘空间满
15、了，当天数据加载失败，第二天维护人员发现了问题并重新执行数据加载任务，虽然操作成功，但是数据比正常情况晚了一天加载。源系统的数据库结构发生变化，没有及时通知数据仓库的管理部门，造成相关的加载任务失败，数据仓库项目组突击加班变更加载任务，调整加载策略，但还是干了将近一周时间才能处理新的数据。类似这样的案例还有很多，数据仓库项目很多时间都是在疲于应对这些无法预测的质量事件。1 3 数据仓库项目中数据质量的现状分析数据仓库项目的灵魂就是数据，而数据质量的好坏直接影响数据仓库项目的成败。对于金融企业，它的更多的资产与负债均体现在数据上，因此，数据质量的问题对于金融企业更是至关重要的问题。目前国内很多金
16、融企业已经意识到了数据仓库给企业带来的巨大优势和战略意义，纷纷投资建设数据仓库，但是很多投资巨大的数据仓库项目最终由于低下的数据质量而达不到建设目标。在数据仓库项目实施过程中，我将数据质量事件按照各自的特点进行的分类和统计，这样就能比较清晰和有针对性的解决质量问题。大的方面来说数据仓库的数据质量的区分维度有两种：一种维度是从质量的引入方来看：是由于源系统或者外在原因引起的质量事件，还是由于数据仓库内部原因造成的质量事件；另一种维度是从数据的角度来看：是共性的质量问题，还是特性的质量问题。对于数据质量问题的分类，如图卜1 可以看出，内部的共性的问题是难度最低的质量问题，这类的问题有：数据加工流程的设计、S Q L 语句的质量等，这些质量问题可以通过数据仓库内部的质量流程加以控制；难度中等的是外部的共性问题，例如源数据的规范性、空值率、数据关联情况等，这些质量问题可以虽然不能加以改进，但是可以分析和控制的；另外一些难度中等的质量问题是内部的特性问题，例如数据仓库的模型的设计质量、体系架构的质量等，这种质量问题的发现和改进的成本是比较高的，而且也难
