《阿里数据仓库模型设计课件》由会员分享，可在线阅读，更多相关《阿里数据仓库模型设计课件（29页珍藏版）》请在金锄头文库上搜索。
1、数据建模介绍数据建模介绍数据仓库构造方法数据仓库构造方法从整个企业的业务环境入手，分析其中的概念，应该有什么样的数据，达成概念完整性，并不从它需要支持那些应用入手。一个企业建立唯一的数据中心，就像一个数据的仓库，其中数据是经过整合、经过清洗、去掉脏数据的、标准的，能够提供统一的视图。按照实际的应用需求，加载需要的数据，不需要的数据不必要加载到数据仓库当中。这种方式建设周期较短，客户能够很快看到结果，适合做项目类数据仓库。自上而下Bill Inmon结合自上而下、自下而上两种构造数据仓库的方法，结合企业自身特点，分析业务环境构造数据仓库底层数据基础，再按照实际的应用需求构造数据仓库上层数据。自下
2、而上Ralph Kimbal混合法支付宝业务系统简介支付宝业务系统简介v业务特点类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等）非纯电子商务；纯金融v线上子系统多而杂截止到2011年6月共有各类线上子系统259个类型多样：对C、对B、对内、对金融机构v系统间依赖程度参差不齐垂直依赖（业务与核心）跨层依赖（跨过交易到账务）支付宝业务系统支付宝业务系统资金平台客户平台支付平台交易平台四大平台商户域用户域支撑域风控域无线域五大域会员线金融线两条线支付宝数据仓库架构原则支付宝数据仓库架构原则v底层业务的数据驱动为导向同时结合业务需求驱动v便于数据分析屏蔽底
3、层复杂业务简单、完整、集成的将数据暴露给分析层v底层业务变动与上层需求变动对模型冲击最小化业务系统变化影响削弱在基础数据层（资金订单改造）结合自上而下的建设方法削弱需求变动对模型的影响数据水平层次清晰化v高内聚松耦合主题之内或各个完整意义的系统内数据的高内聚主题之间或各个完整意义的系统间数据的松耦合v构建仓库基础数据层 使得底层业务数据整合工作与上层应用开发工作相隔离，为仓库大规模开发奠定基础仓库层次更加清晰，对外暴露数据更加统一传统仓库架构方法传统仓库架构方法v需求驱动为主支付宝交易主题现状支付宝交易主题现状数据仓库模型建设目标示意图数据仓库模型建设目标示意图仓库基础数据层建设的意义仓库基础
4、数据层建设的意义v避免底层业务变动对上层需求影响过大v屏蔽底层复杂的业务逻辑，尽可能简单、完整的在接口层呈现业务数据v仓库数据更加丰富v建设高内聚松耦合的数据组织，使得数据从业务角度可分割，有助于数据和团队的扩展。第三方支付企业支付宝数据仓库体系结构第三方支付企业支付宝数据仓库体系结构点击流数据（Click stream）数据库数据（OLTP）文档数据（Documents）其它数据（Other）源数据明细数据（DWD）数据仓库ETL报表展示自定义查询数据分析数据应用数据挖掘元数据管理数据质量监控KPI账单应用日志产品应用高粒度汇总数据（DWS）其它数据集市、宽表（DM）数据应用（ST）低粒度汇
5、总加工数据（DWB） 建立企业级概念数据模型建立企业级概念数据模型(CDM) 的基本架构的基本架构相关方安排位置相关方关系相关方及安排间的关系相关方描述相关方类型业务概念框架提供了一套通用的结构，它描述了所有业务环境IBM业务概念间最初的关系提供了4相关方4合约合约4位置位置4分类4产品/服务4资源4事件4业务方向4条件安排类型所有业务信息都是可以用九大概念的词汇来表示所有业务信息都是可以用九大概念的词汇来表示每一种信息概念都可用三个分层来详细说明：每一种信息概念都可用三个分层来详细说明：I.分类分层（是什么）II.描述分层（有什么）III.关系分层（做什么）九大数据概念变迁九大数据概念变迁I
6、BM FSDM九大数据概念九大数据概念支付宝九大数据概念支付宝九大数据概念当事人当事人地理位置地理位置协议协议资源项资源项事件事件产品产品分类分类条件条件业务方向业务方向介质介质介质介质帐户帐户渠道渠道主要变化：主要变化：1. 将产品中的介质以及将产品中的介质以及分类中的帐户和渠道独分类中的帐户和渠道独立出来作为单独的数据立出来作为单独的数据概念概念2.条件和分类不作为单条件和分类不作为单独的数据概念，分散在独的数据概念，分散在各个数据概念中。各个数据概念中。3.业务方向中的部分在业务方向中的部分在事件数据概念中体现事件数据概念中体现当事人当事人地理位置地理位置协议协议资源项资源项事件事件产品
7、产品介质介质渠道渠道帐户帐户条件条件条件条件分类分类条件条件分类分类条件条件条件条件分类分类业务方向业务方向第三方支付企业支付宝数据模型设计第三方支付企业支付宝数据模型设计第三方支付企业支付宝数据模型设计第三方支付企业支付宝数据模型设计基于OMG推出的数据仓库元数据管理的CWM模型(Common Warehouse Metamodel)物理模型设计 PDM设计方法参考IBM的FSDM金融行业的数据仓库通用模板参考NCR Teradata 金融服务逻辑数据模型（FS-LDM ），参考新巴塞尔资本协议（Basel II Capital Accord）需提供三到五年的数据的规范综合上述规范和要求，同
8、时结合支付宝实际的业务，综合上述规范和要求，同时结合支付宝实际的业务，推出数据仓库推出数据仓库5层架构体系层架构体系vDW五层模型是按照EDW各个应用层次的需求进行分层细化而来的，每个层次满足不同的应用。v分为以下5层：1. ODS 数据准备层 2. DWD 数据明细层3. DW(B/S) 数据汇总层4. DM 数据集市层5. ST 数据应用层 DW五层模型架构介绍五层模型架构介绍DW五层模型架构介绍五层模型架构介绍ODS层层ST层层DM层层DW层层DWD层层 数据来源及建模方式数据来源及建模方式服务领域服务领域数据准备区，数据来源是各业务系统的源数据，物理模型和业务系统模型一致。数据来自OD
9、S层，是DW明细事实层,数据模型是ODS一致数据来自DWD层，是DW事实层，采用维度建模，星型架构,这一层可细分为dwb 和dws数据来自DW层，采用维度建模，星型架构数据来自DW层，采用维度建模，星型架构为其它逻辑层提供数据，为统一数据视图子系统提供数据实时查询为EDW提供各主题业务明细数据为EDW提供各种统计汇总数据数据挖掘，自定义查询，应用集市前端报表展现，主题分析，KPI报表 数据数据ETL过程描述过程描述通过支付宝分发中心平台，把业务数据抽取落地成文本文件，再装载到数据仓库ODS层，不做清洗转换根据ODS增量数据进行merge生成全量数据，不做清洗转换，保留原始全量数据从DWD层进行
10、轻度清洗，转换，汇总聚合生成DW层数据，如字符合并，EMAIL,证件号，日期，手机号转换，合并；用代理键取代维度；按各个维度进行聚合汇总从DW层的数据进行粗粒度聚合汇总；按业务需求对事实进行拉宽形成宽表从DW层的数据进行粗粒度聚合汇总；如按年、月、季、天对一些维度进行聚合生成业务需要的事实数据DW模型架构第一层介绍模型架构第一层介绍-ODS层层功能功能vODS层是数据仓库准备区v为DWD层提供基础原始数据v减少对业务系统影响建模方式及原建模方式及原则v数据保留时间根据实现业务需求而定v可以分表进行周期存储，存储周期不长v数据不做清洗转换和业务系统一样v按主题逻辑划分v数据模型和粒度和业务系统数
11、据模型保留一致（3NF）v从业务系统以增量方式抽取加载到ODSDW模型架构第二层介绍模型架构第二层介绍-DWD层层功能功能v为DW层提供来源明细数据v提供业务系统细节数据的长期沉淀v为未来分析类需求的扩展提供历史数据支撑建模方式及原则建模方式及原则v数据模型与ODS层一致（3NF）v不做清洗转换处理v为支持数据重跑可额外增加数据业务日期字段v可按天、月、年进行分表v用增量ODS层数据和前一天DWD相关表进行 merge处理DW模型架构第三层介绍模型架构第三层介绍-DW层层功能功能v为DM,ST层提供细粒度数据,细化成DWB和DWSvDWB是根据DWD明细数据进行清洗转换，如维度转代理键、身份证
12、清洗、会员注册来源清洗、字段合并、空值处理、脏数据处理、IP清洗转换、账户余额清洗 、资金来源清洗等vDWS是根据DWB层数据按各个维度ID进行粗粒度汇总聚合，如按交易来源，交易类型进行汇总建模方式及原则建模方式及原则v聚合、汇总增加派生事实v关联其它主题的事实表，DW层可能会跨主题域vDWB保持低粒度汇总加工数据，DWS保持高粒度汇总数据v数据模型可能采用反范式设计，合并信息等DW模型架构第三层介绍模型架构第三层介绍-DW层层DW模型架构第四层介绍模型架构第四层介绍-DM层层功能功能v这一层可以是一些宽表，是根据DW层数据按照各种维度或多种维度组合把需要查询的一些事实字段进行汇总统计并作为单
13、独的列进行存储v满足一些特定查询、数据挖掘应用v应用集市数据存储建模方式及原则建模方式及原则v尽量减少数据访问时计算，优化检索v维度建模，星形模型v事实拉宽，度量预先计算v分表存储DW模型架构第四层介绍模型架构第四层介绍-DM层层DW模型架构第五层介绍模型架构第五层介绍-ST层层功能功能vST层面向用户应用和分析需求，包括前端报表、分析图表、KPI、仪表盘、OLAP、专题等分析，面向最终结果用户v适合作OLAP、报表模型，如ROLAP，MOLAPv根据DW层经过聚合汇总统计后的粗粒度事实表建模方式及原则建模方式及原则v保持数据量小v维度建模，星形模型v各种维度代理键+度量v增加数据业务日期字段
14、，支持数据重跑v不分表存储DW模型架构第五层介绍模型架构第五层介绍-ST层层v细化化DW建模建模 对DW中各个主题业务建模进行了细分，每个层次具有不同的功能。 保留了最细粒度数据 满足了不同维度，不同事实的信息v满足数据重新生成足数据重新生成 不同层次的数据支持数据重新生成 无需备份恢复 解决了由不同故障带来的数据质量问题 消除了重新初始化数据的烦恼v减少减少应用用对DW的的压力力 以业务应用驱动为向导建模，通过ST、DM层提供数据 避免直接操作基础事实表 降低数据获取时间v快速适快速适应需求需求变更更 适应维度变化 明细基础数据层稳定，适应前端应用层业务需求变更 所有前端应用层模型之间不存在
15、依赖，需求变更对DW整个模型影响范围小 能适应短周期内上线下线需求DW五层模型架构特点五层模型架构特点数据仓库建设规范数据仓库建设规范v表命名规范v程序命名规范v开发模板v通用SQL文档数据仓库建设规范数据仓库建设规范表命名表命名规范范v表名命名格式说明层次_主题 _表内容_分表规则vT表命名格式说明T_层次_主题 _表内容v临时表名命名格式说明tmp_所属程序名_自定义序号1.10temp_操作者缩写_YYYYMMDD_表内容v视图命名格式说明V_表名DWB层视图仍以DWB_开头，为了兼容日后业务变动数据仓库建设规范数据仓库建设规范表命名解表命名解释v层次ODS, DWD, DWB,DWS,
16、 DM,ST如ODS_TRD_TRADE_BASE_YYYYMMDD, DWD_TRD_TRADE_BASE_YYYYMMDD；v表内容表名视图名总长度不超过64个字符ODS层和DWD层：层次_主题_业务系统表名字_分表规则DWB(含)以上层次表名字：层次_主题_有意义的缩写_分表规则尽量详尽说明表的具体内容v分表规则日表YYYYMMDD月表YYYYMM日汇总DS,月汇总MS,日累计DT,月累计MT数据仓库建设规范数据仓库建设规范程序命名程序命名规范范v程序命名目标表名(去除分表规则部分)_程序类型.tcl程序名称一律小写v解释目标表名(去除分表规则部分)目标表名为程序生成数据的表名，如数据ODS_TRD_TRADE_BASE_YYYYMMDD- DWD_TRD_TRADE_BASE_YYYYMMDD，那么程序命名成dwd_trd_trade_base_dd.tcl
