《商业银行数据仓库中元数据平台开发硕士研究生学位论文》由会员分享，可在线阅读，更多相关《商业银行数据仓库中元数据平台开发硕士研究生学位论文（107页珍藏版）》请在金锄头文库上搜索。
1、 . . . 分类号： TP311.5 单位代码： 10335 密 级： 无 学 号： Z104325023硕士学位论文中文论文题目 ： 商业银行数据仓库中元数据 下载平台开发英文论文题目：Thedownloading platform development forcommercial bank data warehousemetadata / 商业银行数据仓库中元数据 下载平台开发 摘要笔者在对银行数据仓库平台的开发和维护实践基础上，针对目前商业银行数据仓库开发平台的一些缺陷而提出的一套可配置、组件化、易操作的数据下载系统。建立统一的开发技术规，包括元数据技术规、主辅数据源分布规、数据生命
2、周期管理规、数据质量规等。其中主辅数据源分布规保证了数据下载的过程中，抽取数据分布合理、提高应用系统运行的整体效率、保证应用系统健康高效运行。数据生命周期管理规保证有效控制在线数据规模，提高生产数据访问效率，减少系统资源浪费。数据质量规提高了数据管理水平、规数据质量管理流程、与时准确地发现和治理问题数据，保证应用数据质量。建立统一的应用系统数据模型设计规。该规明确了数据模型设计要求、明确设计原则、加强数据结构的逻辑视图管理，提高数据建模的质量。提供了一种可配置的参数化组件，这些组件最终被组装成复杂的数据仓库数据下载系统中。通过“抽取逻辑组件化，文件格式参数化”的方法大大减少了数据下载的开发工作
3、量，随着组件的逐步丰富，基本可以实现“零编码”，同时也极大简化了测试步骤，我们只需利用现有的功能组件，按照一定的规则和逻辑把它们拼装组合在一起，就可以完成数据下载的开发，使得元数据抽取、文本生成、上报数据仓库过程更加高效、稳定、规。关键词：数据仓库，元数据，数据抽取，下载，规AbstractAccording to banking data warehouse platform development and maintenance practices, the author put forward a number of defects can be configured, componen
4、t, conveniently operated system for the current data warehouse development platform of the commercial bank.The thesis contained a development technical specifications, including metadata specification, primary and secondary data sources distributed specification, data life cycle management specifica
5、tion, data quality specification. Distribution of primary and secondary data sources including specification ensures data download process, extract data distribution is reasonable, to improve the overall efficiency of the system. Data life cycle management practices to ensure effective control of on
6、line data scale, improve production efficiency of data access and reduce resource waste. Data quality specification improve data management, standardize data quality management process, timely and accurate discover and control data issue, ensure data quality of applications.It established a unified
7、data model application system design specifications. The specification defined the data model design requirements, cleared design principles, the logical view of the data structure to strengthen management, for improving the quality of data modeling.By providing a configurable parameters of componen
8、ts, which would be eventually assembled into complex data warehouse data download system. By the method of extract of logic components, format the file parameters will greatly reduce the development workload, along with the gradual rich components, which can be zero code, but also greatly simplifies
9、 the test procedure, we only require the use of existing functional components, according to certain rules and logic assembled them together, you can complete the development of data download, making meta-data extraction, text generation, data warehouse reporting process will be more efficient, stab
10、le and standardized.Key Words：Data warehouse, metadata, data extraction, downloads, specification目录摘要iAbstractii图目录IV表目录V第1章 绪论11.1 课题背景11.2 本文的主要工作31.3 本文的组织结构31.4 本章小结4第2章 元数据、数据仓库的概念与对银行业的作用12.1 元数据的概念12.2 元数据的特点12.3 元数据对商业银行的作用12.4 数据仓库的概念22.5 数据仓库的特点22.6 数据仓库对银行业务的支撑32.7 数据仓库的应用与优势52.8 本章小结8第3章
11、 国商业银行数据仓库93.1 发展阶段与目标93.2 数据仓库建设规划和集市整合123.3 数据仓库体系的定位173.4 数据仓库体系的功能173.4.1 数据仓库的功能173.4.2 数据集市的功能183.4.3 综合统计的功能193.4.4 数据挖掘的功能193.5 数据仓库建设方法和路线203.6 ETL203.6.1 ETL简介203.6.2 ETL概念213.6.3 注意事项223.6.4 设计要求223.7 数据仓库元数据下载介绍233.7.1 数据抽取的方式233.7.2 数据抽取的工作步骤253.8 本章小结25第4章 元数据下载平台实现264.1 元数据技术规264.1.1
12、术语与定义264.1.2 元数据的围和管理方法274.1.3 数据标准284.1.4 专业术语324.1.5 数据流文件334.1.6 数据结构364.1.7 数据质量规则404.2 主辅数据源分布技术规414.2.1 术语与定义414.2.2 主辅数据源管理原则414.2.3 主数据源分布原则424.2.4 辅数据源分布原则434.2.5 数据间使用和同步原则434.3 数据生命周期管理技术规454.3.1 术语与定义454.3.2 数据生命周期引用模式474.3.3 数据生命周期管理原则484.3.4 各阶段数据管理494.4 数据质量技术规504.4.1 数据质量规则514.4.2 数据
13、质量的开发要求524.4.3 技术检查534.5 应用系统数据模型设计技术规564.5.1 术语与定义564.5.2 数据模型管理584.5.3 逻辑数据模型设计步骤594.5.4 模型实体设计原则604.5.5 特殊设计要求684.6 元数据下载方式的设计704.6.1 数据生成方式704.6.2 元数据下载配置设计714.6.3 元数据下载配置注意要点794.6.4 元数据下载配置实例794.7 本章小结84第5章 元数据下载平台实现855.1 系统运行的软硬件环境855.2 系统架构855.3 系统架构图865.4 系统测试与运行情况865.4.1 集成测试865.4.2 系统测试875
14、.4.3 压力测试885.4.4 运行情况885.5 本章小结89第6章 未来发展方向与总结90参考文献92作者简历94致95图目录图 3.1 数据仓库的发展阶段9图 3.2 数据仓库建设规划11图 3.3 数据仓库的发展阶段12图 3.4 三种应用模式13图 3.5 数据仓库体系组织架构规划14图 3.6 组织架构中职能岗位架构规划14图 3.7 数据仓库体系应用架构规划16图 4.1 元数据管理围27图 4.2 数据标准之间的关系29图 4.3 数据生命周期中数据引用曲线47图 4.4 在线阶段进行快照（备份）后在线阶段数据与快照数据冗余存储47图 4.5 数据模型管理体系58图 4.6
15、当事人逻辑数据模型59图 4.7 分户账60图 4.8 统计表61图 4.9 机构代码表61图 4.10 产品优惠率参数表62图 4.11 账户历史明细表63图 4.12 冻结解冻登记簿64图 4.13 对账单打印控制表64图 4.14 新旧账号对照表66图 4.15 对账单余额历史表66图 4.16 日志表层次关系67图 4.17 父子类实体的物理实现69图 4.18 父子类实体的物理实现70图 4.19 export_project表80图 4.20 export_project_table表80图 4.21 存量参数81图 4.22 增量参数82图 4.23 存量数据生成逻辑83图 4.24 新增、修改数据的情况83图 4.25 删除
