数据模型之经典培训

《数据模型之经典培训》由会员分享，可在线阅读，更多相关《数据模型之经典培训（69页珍藏版）》请在金锄头文库上搜索。

1、数据模型数据模型数据模型培训数据模型培训2009年07月目录目录数据模型的概念数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结逻辑数据模型(Logical Data Model)是：利用图形方式，通过数据和关系反映业务的一个过程；定义需要追踪和管理的各种重要实体、属性和关系；是进行各种数据管理、分析和交流的重要手段；是IT和业务人员沟通的桥梁；什么是数据模型？什么是数据模型？数据模型作用数据模型作用为复杂的业务系统实施提供了规范和基础结构蓝图促进业务部门用户和IT分析人员之间的有效沟通，提高了IT 系统开发的效率明确业务需求解决业务问题形成对重要业务定义

2、和术语的统一认识，有助于业务的积累具备跨部门、中性的特征，能够表达所有的业务业务具有一定的稳定性，可以减少项目实施的风险借鉴行业实践检验，提供成熟、可扩展的方案数据模型的基本组成数据模型的基本组成数据模型由实体、属性和关系组成：实体是具有公共性质的可区别的现实世界对象的集合，诸如人、地点、事件或概念等任何要保留信息的事务，如客户、产品等。包括基本实体、子类型实体、属性实体、关联实体四种类型。属性是描述实体或者联系的性质的数据项，是实体的特征，每个属性都代表实体的单个特征信息，如客户ID、客户名称等，其中主键用于唯一标识实体，外键存在于父子关系的一对实体间。关系是表示实体之间的关联、连接等。关系

3、有一对一、一对多、或者多对多。关系有基数、可选性、标识联系、非标识联系等特性。范式化范式化第1范式：属性依赖于键第2范式：属性依赖于全键第3范式：属性只依赖于键总结：所有属性必须依赖键且为全键，并且只能依赖于键总结：所有属性必须依赖键且为全键，并且只能依赖于键讨论：讨论：范式化与逆范式化（通俗的说法：窄表、宽表）范式化与逆范式化（通俗的说法：窄表、宽表）数据模型与数据结构数据模型与数据结构指标维护指标维护-指标关系历史指标关系历史Item_Id指标标识指标标识CHAR(10)Upper_Item_Id上层指标上层指标标识标识CHAR(10)Start_Date开始日期开始日期DATEItem_

4、Mode指标性质指标性质CHAR(2)End_Date结束日期结束日期DATECaulate_Seq计算顺序计算顺序INTEGERCaculate_Mode_Cd计算方式计算方式代码代码CHAR(2)Caculate_Level计算层次计算层次INTEGERCOEF_Caculate_Mode_Cd系数计算系数计算方式代方式代码码CHAR(2)COEF_Amt系数值系数值DECIMAL(18,10)Target_Value目标值目标值DECIMAL(18,10)指标维护指标维护-指标性质指标性质第一位: 1:本期 2:上期 3:年初 4:同期 5:比较第二位: 1:实际值 2:增减值 3:增减

5、百分比指标维护指标维护-计算方式代码计算方式代码+加-减/除*乘0不计算指标结构指标结构Item_Id指标标识指标标识CHAR(10)Upper_Item_Id上层指标上层指标标识标识CHAR(10)Start_Date开始日期开始日期DATEItem_Mode指标性质指标性质CHAR(2)End_Date结束日期结束日期DATECaulate_Seq计算顺序计算顺序INTEGERCaculate_Mode_Cd计算方式计算方式代码代码CHAR(2)Caculate_Level计算层次计算层次INTEGERCOEF_Caculate_Mode_Cd系数计算系数计算方式代方式代码码CHAR(2)

6、COEF_Amt系数值系数值DECIMAL(18,10)Target_Value目标值目标值DECIMAL(18,10)指标维护指标维护-指标性质指标性质第一位: 1:本期 2:上期 3:年初 4:同期 5:比较第二位: 1:实际值 2:增减值 3:增减百分比指标维护指标维护-计算方式代码计算方式代码+加-减/除*乘0不计算数据模型关系数据模型关系数据建模技术数据建模技术企业级数据模型企业级数据模型客户客户存款存款贷款贷款主题域模型主题域模型业务数据模型业务数据模型贷款业务贷款业务（核心系统）贷款业务（信贷系统）逻辑数据模型逻辑数据模型物理数据模型物理数据模型存款业务建立逻辑模型策略建立逻辑模

7、型策略从物理数据库如：核心、CRM、信贷、资产负债等系统开始进行反向工程。建立逻辑模型，被称为“自底向上”的建模方式，或模型B。根据数据建模小组的业务知识和行业建模经验建立实体水平逻辑模型，被称为“自顶向下”的建模方式，或模型A。业务知识企业级数据模型交易系统交易系统目录目录数据模型的概念主题域模型介绍主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结通用数据模型通用数据模型主题划分主题划分金融数据模型金融数据模型IBM FSDMIBM FSDMNCR 7.0NCR 7.0当事人和当事人角色当事人和当事人角色参与者参与者 (Involved Party)当事人当事人 法

8、人实体法人实体组织机构组织机构机构机构客户客户产品产品产品产品 (Product)产品产品分类方案分类方案分类分类 (Classification)渠道渠道协议协议合约合约 (Arrangement) 合约合约交易交易事件事件 (Event)事件事件财务记录财务记录财务财务地域地域地点地点 (Location) 区域区域通讯通讯凭证凭证时间表时间表营销活动营销活动金融资产金融资产资源项资源项 (Recourse Item)资产资产条件条件 (Condition)业务方针业务方针 (Business Direction)金融金融数据数据模型模型总览总览当事人当事人产品及协议产品及协议交易交易当事

9、人当事人-定义及分类定义及分类当事人当事人-法律实体法律实体当事人当事人-组织机构组织机构当事人当事人-客户客户产品产品-定义定义产品产品-特性特性产品产品-分类分类协议协议交易交易财务记录（账户）财务记录（账户）财务记录财务记录(账户账户)协议协议-交易交易-账户的关系账户的关系 当事人（具有银行指定的客户角色）与银行进行某种业务时，必然针对银行的某种产品，其产品自身的特点及交易属性决定了在交易时必须遵循一定的规则，即双方必须遵守的业务约定（协议）。在业务约定的前提下，在一定的时间和地点双方实现业务约定的内容，即进行交易，交易过程中会伴随有相应的金额数量和币种等信息。交易发生时，银行会记录与

10、这笔交易有关的财务信息，即影响银行财务增加或减少的财务记录（账户）。地域地域通讯通讯凭证凭证时间表时间表金融资产金融资产分类分类目录目录数据模型的概念主题域模型介绍FSD数据模型总体介绍数据模型总体介绍FSD数据模型应用数据仓库建模基础总结FSD（Financial Service Datastore）的目标）的目标面向银行业，满足银行业务、管理、监管要求面向银行业，满足银行业务、管理、监管要求通过多家银行的报表需求，不断完善FSD元数据内容通过对报表需求的分析，不断完善元数据定义的标准通过多家银行的项目实施经验，不断完善数据采集的管理、调度机制，实现外部业务系统、数据平台的安全、协调运行具有

11、良好的拓展性，满足银行不断推出的新业务、新服务的要求具有良好的拓展性，满足银行不断推出的新业务、新服务的要求制定FSD管理流程，保证FSD与数据平台产品的同步升级建立FSD数据管理方法论，保证新增数据与数据模型、历史数据的有效衔接协助银行，制定有效的数据管理制度 从任何角度统计，在业务逻辑一致的情况下，结果相同从任何角度统计，在业务逻辑一致的情况下，结果相同 从分户账、总账、交易信息，等等，任何一个角度进行统计，结果一致数据数据代理层代理层ETL 处处理理ETL 处处理理数据提供者数据提供者业务报表管理报表数据检核数据检核访问控制访问控制元数据管理元数据管理数据服务工厂数据服务工厂数据使用者数

12、据使用者ETL处处理理数数据据访访问问和和发发布布数据管理体系数据管理体系抽取、清洗、转换、加载抽取、清洗、转换、加载组织、活动、交付、职责、技术组织、活动、交付、职责、技术即席查询分析决策数据管理体系数据管理体系外部数据外部数据中间业务中间业务理财理财信贷信贷资金资金国结国结核心核心其他其他数据数据平台层平台层数据应用层数据应用层EDWCreditALMORMGLCRMMA监管报表FSD的处理步骤的处理步骤ODS层层基础层基础层汇总层汇总层TP: Table of Presentation (or Tier of Presentation) ，是对外提供数据和报表展现接口，以数据库表的形式存

13、在。数据代理层数据代理层数据平台层数据平台层数据应用层数据应用层ODS层层数据结构与源一致。数据内容与源一致。参数代码与源一致。源系统数据落地。隔离源系统依赖。保存少量历史支持重做。FSD：基于金融数据模型的数据存储（Financial Service Datastore）接口层接口层数据的加工过程需要的临时区，参与集合筛选、增量计算等过程，视情况而定是否需要落地。基础层基础层按银行业务划分的模型存储明细数据。保存时点全量和部分历史流水。汇总层汇总层基于源系统参数设置的常用高粒度业务数据汇总、预连接等运算处理。分析层分析层面向应用要求的、按照特定分析主题定制的、约定特定用途的一组星型模型（St

14、ar Schema）存储区域。指标层指标层基于项目（Item）的、具有公式关系和复杂运算特点的指标定义、计算、存储区域。TP层层用于报表快速展现的报表数据存储或缓冲区域。在非完全由分析层提供数据时须保留历史。接口层接口层分析层分析层指标层指标层TP层层FSD基础层基础层汇总层汇总层FSD业务主题域业务主题域内部资料 注意保密内部资料 注意保密FSD业务主题域业务主题域区域区域机构机构客户客户业务约定业务约定账户账户交易交易总帐总帐参数参数贷款贷款国家行政区划基本信息投资信息关联方信息案件信息外汇风险敞口内部敞口额度发行债券柜员额度资产信息个人客户企业客户同业客户客户关系企业财务企业资产额度合同

15、保证合同抵押合同质押合同担保物承诺协议贷款合同.贷款账户还款计划发放回收结息状态转换展期还款假期抵债资产入账重组币种国家行政区划汇率外汇折算率利率存款类型存款交易类型存款产品余额限制账户限制类型中间业务品种中间业务渠道类型贷款类型贷款子类型贷款用途贷款可疑状态分析类型1国结产品类型结售汇及掉期汇率内部平盘价大额参数风险权重存款存款协议存款协议存款账户外汇账户同业存放账户存款取款手续费理财国结国结卡卡基本信息自助设备资金资金同业拆借账户结构性存款信用卡内部账户总帐总帐总帐账户总账流水科目定义客户准入贷后跟踪统一授信合同签订业务审批业务申请回收记帐风险分类贷前调查资产保全信贷制裁客户评级业务审查发

16、放记帐利息管理状态管理客户客户信息 客户评级 统一授信账户信贷账户 还款计划 本息通知交易归还明细期限调整申请信息批复信息授信额度授信合同 担保物业务约定评级/分类贷款数据模型贷款数据模型内部资料 注意保密FSD贷款主题分析模型186个维度91个指标13个数据粒度贷款业务模型已较为完整，可据此产生新的报表内部资料 注意保密贷款主题分析模型贷款主题分析模型目录目录数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据模型应用数据仓库建模基础总结FSD数据模型的语义定义数据模型的语义定义商业机密52技术层技术层展现层展现层ETL加工过程加工过程业务系统产生的数据业务系统产生的数据

17、语义层语义层FSD物理模型物理模型技术元数据技术元数据技术元数据技术元数据业务元数据业务元数据业务元数据业务元数据语义定义过程语义定义过程语义应用过程语义应用过程元元数数据据管管理理查询查询报表报表文件文件视图视图元数据业务视图元数据业务视图FSD物理模型物理模型表 字段 视图 关联 分区元数据建模元数据建模模型元数据模型元数据属性 指标 组合维度 层次MMT元数据元数据条件 维度列 指标列 单/多维度指标列 组合MMT报表元数据报表元数据参数 样式 行列定义 数据区定义 平衡检查 补录定义多维模型多维模型多维建模是一种将数据模型概念化和形象化为一组可用一般商业概念描述的度量的技术。 星型模型

18、雪花模型多维建模的基本概念维度度量面向业务人员的建模过程维度和度量维度和度量维度是一个与业务相关的观察角度依赖于数据的有效性和表达业务成效的关键性能指标度量度量是业务量化的表示用于评价业务状态的数值型数据用于检测业务的成效不同度量反映不同的业务性质度量之间是独立的机构时间币种贷款产品类型贷款用途贷款投向行业五级分类担保方式期限 维度维度余额逾期金额发放金额回收金额表内欠息表外欠息实收利息应计利息贷款笔数发放笔数回收笔数逾期笔数 度量度量贷款模型贷款模型示例：示例：2008年度北京分行年度北京分行用于用于个人消费个人消费的的三年期人民币三年期人民币贷款的贷款的发放总金额发放总金额和和贷款余额贷款

19、余额是多少？是多少？维度：时间（维度：时间（2008年度年度） 度量：度量：发放总金额发放总金额 机构（机构（北京分行北京分行） 贷款余额贷款余额 产品（产品（个人消费贷款个人消费贷款） 期限（期限（三年期三年期） 币种（币种（人民币人民币）贷款分析举例贷款分析举例目录目录数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础数据仓库建模基础总结什么是数据仓库什么是数据仓库?数据仓库区别于其他数据存储系统“数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合，支持管理部门的决策过程.” W. H. Inmon数据仓库经典著作数据仓库经典著作数据仓库模型主题的定义数据仓库模型主题的定义数据仓库模型主题的时间性数据仓库模型主题的时间性数据仓库建模数据仓库建模数据仓库建模数据仓库建模数据仓库建模数据仓库建模目录目录数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结总结Wiley - Mastering Data Warehouse Design - Relational and Dimensional Techniques