《计算机理论论文基于数据仓库项目的银行领域系统的设计与实现》由会员分享，可在线阅读，更多相关《计算机理论论文基于数据仓库项目的银行领域系统的设计与实现（4页珍藏版）》请在金锄头文库上搜索。
1、基于数据仓库项目的银行领域系统的设计与实现 摘要：银行是国民经济资金活动的枢纽，直接服务于国民经济各部 门。为国民经济各单位、各部门和个人办理资金收付。随着信息化技术的不断推进，我国 政府部门特别是银行业系统的信息化建设的同时，也带来了 1 些新的问题。各级分行、总 行在多年工作中各个系统（某银行目前上线系统就 30 多个，积累了大量的业务数据，但由 于缺乏有效的技术手段，决策者很难从这些数据中获得深入、有价值的信息。如何从海量 的用户信息中分析出个人用户的投资偏好，然后有针对性地提出投资方案；如何对海量的 信息进行科学的分析处理，推出新业务，以及时为决策者提供决策支持，并适应激烈的市 场竞争
2、，成为摆在金融企业面前的新课题。 “数据仓库系统”的建立与推广，是实现国家金融 统计管理和决策科学化的基础，是防范金融风险的重要手段。毕业论文 论文网关键词： 数据仓库数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数 据集合。数据仓库模型星型模型：是 1 种多维的数据关系，它由 1 个事实表(Fact Table)和 1 组维表 (Dimension Table)组成。通过事实表将各种不同的维度表连接起来，各个维度表都连接到 中央事实表。雪花模型：雪花模型是对星型模型的扩展，每 1 个维度都可以向外连接到多个详细类 别表。雪花模型对星型模型的维度表进 1 步标准化，
3、对星型模型中的维度表进行了规范化 处理。ETL 过程在源系统数据分析的基础上，按照源系统数据和数据仓库数据之间的映射关系，经过 数据的抽取(Extraction)、转换 (Transformation)和加载(Loading)等环节方可进入数据仓库， 这个过程简称为 ETL 处理。其中 ETL 过程工具主要为：Informatica， Datastage， Dw Automation(NCR)引言随着数据库技术的迅速发展以及数据库管理系统的广泛应用，银行业领域积累的数据 越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分 析，以便更好地利用这些数据。目前的数据库系统
4、可以高效地实现数据的录入、查询、统 计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋 势。数据仓库是“1 个面向主题的、集成的、随时间变化的、非易失性数据的集合，用于支 持管理层的决策过程”。 数据仓库的基本功能包含：数据抽取，数据筛选、清理，清理后 的数据加载，设立数据集市，完成数据仓库的查询、决策分析和知识的挖掘等操作。国内 现行的数据仓库系统，并没有百分之百的发挥出数据仓库的优势，而更多的希望数据仓库 系统完成业务上的查询的功能，因此在系统需求业务的定义的初期已经将数据仓库系统与 业务系统靠的很近，以至最种没有发挥中分析的功能。本人参加了，上海太平人寿数据仓
5、 库项目、某银行信贷咨询数据仓库项目、某银行总行 DWMIS 项目等系统需求、模型、开发、测试等不同阶段。1。1 数据仓库构架图数据仓库系统主要由数据源、ETL 过程、数据仓库平台、BI 服务器、前端报表展示和 分析系统（Web 服务器）组成，框架图如下图：说明：主要涉及三个层次：数据获取层、数据存储层、分析展示层。而 ETL（抽取、转 换、加载）占据了整个项目的 60%70%左右。1。2 数据仓库的开发步骤概念模型设计技术准备工作逻辑模型设计物理模型设计数据仓库生成数据仓库运行与维护1。2。1。 概念模型设计进行概念模型设计所要完成的工作是：界定系统边界确定主要的主题域及其内容在这 1 步中
6、，要确定系统所包含的主题域，然后对每个主题域的内容进行较明确的描 述，描述的内容包括： 主题域的公共码键、 主题域之间的联系、充分代表主题的属性组 。值得说明的是，每个厂商对每个行业的划分的主题域是不相同的，例如 NCR、IBM 等 知名厂商。1。2。2。 技术准备工作这 1 阶段的工作包括：技术评估，技术环境准备。对现有的技术方案进行评估，以确 保方案的可行性；如果方案可行性成立的话，要对方案中所涉及到的环境进行准备。1。2。3。 逻辑模型设计分析主题域粒度层次划分 毕业论文 论文网确定数据分割策略关系模式定义1。2。4。 物理模型设计这 1 步所做的工作是确定数据的存储结构，确定索引策略
7、，确定数据存放位置，确定存 储分配。确定数据的存储结构确定索引策略确定数据存放位置确定存储分配1。2。5。 数据仓库生成在这 1 步里所要做的工作是接口编程，数据装入。这 1 步工作的成果是，数据已经装入 到数据仓库中，可以在其上建立数据仓库的应用，即 DSS 应用。设计接口数据装入在这 1 步里所进行的就是运行接口程序，将数据装入到数据仓库中。主要的工作是： 确定数据装入的次序；清除无效或错误数据；数据“老化” ；数据粒度管理；数据刷新等。1。2。6。 数据仓库运行与维护在这 1 步中所要做的工作有建立 DSS 应用，即使用数据仓库理解需求，调整和完善系 统，维护数据仓库。建立企业的体系化环
8、境，不仅包括建立起操作型和分析型的数据环境，还应包括在这 1 数据环境中建立起企业的各种应用。1。3 某银行 DWMIS 项目数据仓库简介1。3。1。 DWMIS 项目的背景和目标为建设成为国际 1 流的商业银行，某银行拟建设 DWMIS 系统，该系统建设目 标在于建成“1 个能解决跨部门、跨业务、跨时间和跨信息平台的复杂的信息整合问题，可 支持复杂的信息检索及在线访问、可处理海量数据的系统，即基于数据仓库的管理信息系 统；该管理信息系统将以规范的形式集中全银行的信息资源，强调数据视图在全行范围的 1 致有效和充分共享，能够全面反映银行的资产负债和财务收支状况，反映机构、渠道、 产品和客户的盈
9、利能力和风险状况，为管理科学化提供基础信息”。1。3。2。 DWMIS 项目任务DWMIS 项目（1 期）企业级数据仓库基础建设的基本任务是整合银行 DCC 系 统、CMIS 系统、个贷系统、国际卡系统、总帐系统、网上银行等 30 多个现行业务系统的 数据， 定义并开发 ETL 脚本及工作流程，开发设计银行逻辑数据模型、物理数据模型， 构建企业级数据仓库存储和海量数据处理分析展现平台，实现银行外部监管业务需求和部 分内部管理业务需求，为资产负债管理、内部风险评级系统和 ERPF 系统提供数据支持。1。3。3。 DWMIS 项目环境配置硬件环境NCR WES 6288；NCR5251 MPP软件
10、环境数据库：Teradata（NCR） ；OLAP 分析工具 Cognos（前端展现）数据仓库模型：LDM(NCR)备注：ETL 服务器：安装 Teradata 数据库做 ETL 采集；OLAP 查询报表服务器：安装 Cognos 软件极其相应的组件。组件包括了：Transformer、PowerPlay Server、Upfront Server、ReportNet 等。1。3。4。 DWMIS 项目逻辑框架图1。3。5。 DWMIS 项目模型介绍逻辑数据模型 LDM 是 1 种图形化的展现方式，1 般采用面向对象的设计方法，有效组 织来源多样的各种业务数据，使用统 1 的逻辑语言描述业务。
11、全球数据仓库解决方案领导 者-NCR Teradata 推出了金融服务逻辑数据模型 LDM。下图以 Agreement。Automatic Payments 主题为例，该区域 ER 图如下：说明：DWMIS 项目模型采取了星型模型这种方式。1。3。6。 DWMIS 项目物理存储项目物理数据库说明dwODS 库：存放每个系统的历史数据，用来加载数据的历史信息。系统上生产之后随之删除。dwQdata 库：用来对数据进行质量检查的库。dwSdata 库：存放每个系统发过来的最新数据。dwPmart 库：用来存放指标层的指标数据。dwMeta 库：用来存放 OLAP 分析数据，用于前端展示。dwPdd
12、l 库：该库与 dwPmart 结构 1 致，保持与 dwPmart 同步。DWMIS 项目物理数据流图数据流图1。4 结束语本人从事数据仓库方面的工作，有 4 年的时间了，每 1 个项目的完成对数据仓库的理 解都会有更深 1 步的认识。对于数据挖掘，国内在这方面的实施还是很少，数据仓库的项 目国内已经开始慢慢的起步，但是更正的做到分析，使之能为决策者提供强有力决策帮助， 还是有很远的路要走。1。5 感谢感谢我的老师，还有我的家人和朋友，在他们的帮助下，才能顺利的写完这篇论文。毕业论文 论文网1。6 参考文献数据仓库 W。H。Inmon 著 机械工业出版社数据挖掘概念与技术 JiaweiHan 著 机械工业出版社数据仓库原理与实践 林宇 著 人民邮电出版社中国某银行 DWMIS 数据源分析项目 毕业论文 论文网
