《通用语义层数据建模方法论 v10-public》由会员分享，可在线阅读，更多相关《通用语义层数据建模方法论 v10-public（67页珍藏版）》请在金锄头文库上搜索。
1、通用语义层数据模型建设思路 内容提纲 内容演讲人备注 第一部分：通用语义层概述 ：回顾以往数据仓库模型设计思路 ：什么是通用语义层 ：通用语义层能解决什么问题 ：通用语义层有哪些特点 第二部分：如何设计通用语义层 第三部分：项目案例说明 第四部分：实践课：虚拟场景下设计通用语义层下次课程安排 第五部分：附录：相关文档模板下次课程安排 内容提纲 内容演讲人备注 第一部分：通用语义层概述 ：回顾以往数据仓库模型设计思路 ：什么是通用语义层 ：通用语义层能解决什么问题 ：通用语义层有哪些特点 第二部分：如何设计通用语义层 第三部分：项目案例说明 第四部分：实践课：虚拟场景下设计通用语义层下次课程安排
2、 第五部分：附录：相关文档模板下次课程安排 回顾数据仓库数据架构演变过程 1.0 实施方法 特点： 源数据一般直接抽取到缓冲层，缓冲层逻辑上在细分为全 量区、增量区； 基于缓冲层（当时叫ODS层）加工数据集市，集市分为明 细汇总表、高粒度的汇总表； 用户应用多集中在报表统计； 个险 银保 团险 电销 财务接 口文件 缓冲层，（ODS） 个险、银保、团险、财务、电销等 数据集市（DM） 明细汇总表，高度汇总表 固定 报表 灵活 查询 多维 分析 1.5 实施方法 特点： 缓冲层与数据集市模型设计思路与以往类似； 整合层，参考了IBM的IIW、TD的FS_LDM模型，进行客户 化；或者据此设计公司
3、内部的企业模型； 用户应用多样化，充分利用BI工具分析功能； 管理驾驶舱实际上是仪表盘+固定报表 个险 银保 团险 电销 财务接 口文件 缓冲层，（ODS） 个险、银保、团险、 财务、电销等 数据集市（DM） 明细汇总表DM1，高度汇总表DM2 固定 报表 灵活 查询 多维 分析 整合层（DW） 统一建模 管理驾驶舱 I I II II IVIV 增量信息难以捕获，造成模型设计难以保存历史，造 成了模型设计有些“四不象”，实际上并没有学习到 行业模型的精髓 项项目困难难、困惑 项目实施过程中遇到的困难、困惑 ETL过程设计简单，代理主键的使用、更新与维护混 乱 数据集市一般根据应用来设计，集市
4、表成“碎片”， 且指标多次重复计算，集市之间存在误差（可能因为 维度、指标口径不明确、加工频度、刷新频度、脚本 错误等） 数据集市根据实际需要分为明细汇总表、轻粒度汇总 表、高度汇总表，至于为何这么分，并没有讲出所以 然来 IIIIII 整合层按照范式的要求进行存储，在计算集市时，非 常的不方便，效率低下，因此常将一些常见的维度信 息关联好，存储起来，集市计算时使用 以往数据仓库类项目模型设计成果示例 当事人事件 协议协议 集市模型，这这里甚至没有分层层 困惑！ 当前，数据仓库最佳实践之数据架构 2.0 实施方法 特点： 总结以往项目经验，规划出较为实用的一层 ，通用语义层，将基础指标的计算、
5、维度梳 理预处理，将多表关联处理成冗余的宽表， 解决实际问题； 提炼建模方法论，指导项目实际操作；少走 弯路。 个险 银保 团险 电销 财务接 口文件 缓冲层，（缓冲区、转换映射区、基础数据区 ） 个险、银保、团险、财务、电销等 数据集市（DM） 分主题汇总（考虑复用）、特定应用汇总 固定 报表 灵活 查询 多维 分析 通用语义层（存储明细数据、可多次复用的数 据，解决维度与指标一致性的问题） 管理驾驶舱制式报告动态报表 资产接 口文件 内容提纲 内容演讲人备注 第一部分：通用语义层概述 ：回顾以往数据仓库模型设计思路 ：什么是通用语义层 ：通用语义层能解决什么问题 ：通用语义层有哪些特点 第
6、二部分：如何设计通用语义层 第三部分：项目案例说明 第四部分：实践课：虚拟场景下设计通用语义层下次课程安排 第五部分：附录：相关文档模板下次课程安排 通用语义层起源与BO 通用语义层（Common Semantic Layer），检称CSL， 最早起源与BO，目的在于 让业务用户能够通过自己的业务术语，自由安全的访问、分析以及分享信息的技术， 其特点是： 业务用户自主操作 提高用户对于各种企业数据的操作体验 提供一致可信的数据，确保同一业务术语的引用能够贯穿整个企业 让所有的商务智能工具都可以使用（只能用于BO） 让信息部门可以控制和确保信息访问的安全性 通用语义层带来的价值 简洁一致的用户体
7、验，让业务用 户可以简便的访问企业内的数据 ； 减少企业的培训成本； 保障业务用户始终使用可信的信 息 业务用户自创式创建各种商务智 能的内容 可重用的查询、计算、参数、过 滤条件、值列表简化用户使用 为普通用户提供了一个简化的界 面，访问复杂的企业数据 降低BI项目的投入成本，保护现 有IT数据投资 扩展现有的BI平台的安全模式 支持多数据源的语义层 ，提高服 务质量 支持完整BI项目生命周期，项目开 发、测试、投产 语义层 与数据源的变化相同步 支持和扩展数据库的安全性 预定义的可重用的查询、参数、 过滤、计算、值列表等 给业务给业务 用户带户带 来的价值值给给IT 用户带户带 来的价值值
8、 可理解性差可理解性差 语义层过于复杂，难以理解，尤其是新老人员交 替，沟通成本很高 可复用性差可复用性差 语义层的设计成果不能在多个BI工具中使用，过于 依赖BI工具.重用程度不高 可扩展性差可扩展性差 语义层的扩展于与分拆影响较大，难以后期维护 ，为了降低影响范围，大多是在原来基础上，新 增其他功能，致其复杂度越来越高； BO中的通用语义层实语义层实践中遇到了一系列的问题问题 如何解决这些问题呢？ 即 能够享有通用语义层带 来 的价值，又能够规避这些 问题。 经经过过敏思苦想、群策群力，终终于有了答案。 敏思苦想 群策群力 奔走相告 豁然开朗 使用ETL的方式，将BO中 的语义层 搬到数据
9、库中， 简化加工逻辑、 提供可扩展性和可复用性 现现在，我们们来重新定义义通用语义层语义层 通用语义层模型设计基于业务（如保险）核心价值链上的核心业务对象和业 务事件，采用维度总线架构思想来构建；业务对象通常用维度实现，业务事 件通常用事实表实现，按照事实表的不同类型分为：累计快照事实表、周期 快照事实表、交易基础事实表。 通用语义模型设计面向管理决策和经营分析，是公共维度和共性基础指标的 实现载体，支持80%以上的共性应用需求； 通用语义模型设计采用维度化的逆范式设计模式，通常采用以下策略： 预连接处理：按照总线架构维度和事实表的要求，将分散在多张相关实体表的数 据属性进行预连接操作，使相关
10、的维度尽可能组织在特定的维表或者事实表，如 保单维、保单责任维、代理人维、客户维、赔案维等； 预计算处理：按照总线架构维度和事实表的要求，对事实表中的基础指标进行加 工计算，保证基础指标逻辑加工的“Golden Copy”，如保单事件、核保事件、 保全事件、查勘事件、理赔事件等； 汇总处理：针对共性的复杂指标，按照对应的维度进行提前聚合处理，以保证共 性复杂指标逻辑加工的“Golden Copy”，避免重复加工，提供数据一致性和响 应效率，如保单层面指标汇总，机构层面指标汇总，产品层面指标汇总，代理人 层面指标汇总，客户层面指标汇总等； 通用语义层模型的粒度尽可能保留到最细交易粒度（汇总处理除
11、外），以保 持模型间的连通性，并能够最大程度、最快速地响应新需求； 以Sysbase 的IWS模型为指导思想，进行通用语义层设计 核心主题： Life Policy Event Life Claim Transactions 关键度量主题： Life Policy Key Measures Life Policy Costs Key Measures Life Agency Channel Key Measures Life Agent Channel Key Measures Life Product Costs Key Measures Life Underwriting Costs Ke
12、y Measures Life Claim Summary （实际上也是Key Measures ） 其他应用主题视图： Life Quotations & Proposals Life New Business IWS模型主题主要 分为事件表和度量 表 Life Policy Key Measures Life Insured Participant Profile Life Insured Participant Profile Life Policy Event IWS主题模型示例 Customer Profile Insurance Agency 代理机构 Geography 位置 D
13、emography 人口统计特征 Behavior Scores 行为 Financial Scores 财务 Product 产品 Psychographics 购买特征（消费行为） Since Date 相关行为开始日期 Begin Date 初始日期 End Date 结束日期 Assets 资产 Policy保单 Policy Rating 相关费率 Policy Life Cycle status 保单状态 Application Date 申请 Payment Cat 支付 Insured Participant Life Policy Key Measure Maturity D
14、ate 到期/满期日期 Determination Date 其他重要日期 Currency 货币 IWS主题-保单KPI度量主题展示 通用语义层框架构成- 建模速成四步法 公共维度、专用维度概貌 事件表 1. 2. 3. 4. 5. 6. 7. 粒度到流水，或者特别明细，可 以作为事件来看待，可以多次复 用，用来计算指标 1. 2. 3. 4. 5. 6. 7. 业务中最为核心、最 有价值的一个“名词 ”，如保险业的保 单、客户；投资行业 的证券、帐套、持仓 ； 做拉链设计 1. 2. 3. 4. 根据对业务的理解，或 者从需求报表中提炼， 了解具备主数据性质的 公共维度数据、专用维 度，从
15、交易表和概貌表 中梳理指标 度量表 1. 2. 3. 4. 5. 表现形式就是从多个角度来看到相关的指 标，如代理人kpi度量，则是站在代理人 的角度来统计指标，那么常见的指标就有 佣金、标准保费、新单件数、个人FYC、 营业组FYC 基于保险业务核心价值链和业务事件分析的维度总线架构 1 8 审 计 管 理 保单KPI月度 度量 代理人KPI月度 度量 保 单 事 件 代理机构KPI 月度度量 风险管理 绩效评估 保险行业-通用语义层建模思路和方法 产品KPI日 度量 保单概貌 公共维度 保单费用KPI 月度度量 通过分析，IWS模型主要由四类实体 构成： 概貌类表：存储实体历史信息； 事件
16、类表：存储明细交易信息； 汇总类表：存储不同视角指标汇 总信息，粒度一般到保单、责任 或者代理人（机构）； 公共维度表：分为有业务含义的 实体快照信息、或基础公共信息 ； 最为关键的表就是事件类表，是汇总表的计算基础，一般来说，事件类表主要有以下几类： 构造累计快照事实表，分析生命周期时效，如新契约各种时效、理赔调查时效等 构造交易基础事实表，分析交易数量、金额等，如承保保单保费、签单保费、累计批增批减等 构造事件行为事实表，分析操作的工作量、行为变化等，如录单工作量、核保工作量、查勘工作量等 基于投资资产业务核心价值链和业务事件分析的维度总线架构 1 9 审 计 管 理 资产结构日/月 度量 投资估值日 /月度量 交 易 事 件 投资损益日 /月度量 风险管理 绩效评估 投资行业-通用语义层建模思路和方法 风险管理月度量 资产概貌 公共维度 资产持仓日/月 度量 通过分析，IWS模型主要由四类实体 构成： 概貌类表：
