bi数据架构

《bi数据架构》由会员分享，可在线阅读，更多相关《bi数据架构（36页珍藏版）》请在金锄头文库上搜索。

1、LONGTOP GROUP Longtop Financial Technology Co.,Ltd. BI数据架构 议程 引言 BI环境中的数据层次 各层次设计重点 各层次数据使用 小结 议程 引言 BI环境中的数据层次 各层次设计重点 各层次数据使用 小结 以个人客户为例，研究信息通路 信息采集信息采集信息整合信息整合信息应用信息应用 数据组织形式的考虑 面向全局 or 面向局部 ？ 冗余 or 非冗余 ？ 频繁更新 or 相对稳定 ? 议程 引言 BI环境中的数据层次 各层次设计重点 各层次数据使用 小结 BI环境中的数据层次 7 近源模型层近源模型层 基本依照源系统建模 尽量保持业务数

2、据原貌 整合模型层整合模型层 面向整合 主题设计 提供规范和共享 应用集市层应用集市层 面向应用 按需定制 共性加工层共性加工层 初级的数据加工 依赖对应用的提炼 技术缓冲层技术缓冲层 ETL专用的纯技术层 完全与源系统结构一致 技术缓冲层 与源系统结构一致 有增量，有全量 为重加和查数需要保留 数天历史 数据原样加载 纯技术加工 服务于数据加载和转换的需要服务于数据加载和转换的需要 不对外提供数据服务不对外提供数据服务 近源模型层 偏源系统模型 保留较短期历史 简单处理 不考虑整合 主要考虑保留策略 尽量保持源系统数据原貌尽量保持源系统数据原貌 提供基于业务数据原貌的访问提供基于业务数据原貌

3、的访问 整合模型层 面向全局，数据整合 中性设计，灵活可扩展 提供规范和共享 面向主题 偏范式化 细节信息 保留长期历史 长期的，细节的，整合的数据存储长期的，细节的，整合的数据存储 为为BIBI环境中的各类业务需求提供支持环境中的各类业务需求提供支持 共性加工层 全局考虑，相对中性 多层次设计 初级数据加工 侧重业务理解 提炼应用需求共性 多种数据粒度 更多的业务含义 提供相对中性，具有业务意义的初级加工数据提供相对中性，具有业务意义的初级加工数据 支持上层应用的数据加工，或供业务人员的访问支持上层应用的数据加工，或供业务人员的访问 应用集市层 形式各异 各自独立的数据集市 满足特定业务的需

4、求 面向应用 按需定制 提供特定应用使用提供特定应用使用 各数据层次的定位 目标目标以数据下载的结 构为准，一般与 源系统结构相同 ； 数据可能是增量 ，也可能是全量 ； 用于技术加工； 短期的，细节的 反应业务原貌的 数据存储； 直接提供基于源 系统结构的简单 原貌访问； 为BI环境中适合 的业务需求提供 支持； 长期的，细节的，整 合的数据存储； 为BI环境中适合的各 类业务需求提供支持 ； 相对中性，具业务 意义的初加工数据 ，但不面向特定应 用； 作为上层应用数据 加工的基础，或供 业务人员直接访问 ； 服务特定应用； 原则原则简单处理； 关注源系统结构 的变化； 简单处理，不考 虑整

5、合； 关注保留策略； 面向全局，数据整合 ； 中性设计，灵活扩展 ； 提供规范和共享； 提炼应用需求共性 ； 多种数据粒度； 易于理解和使用； 面向具体应用； 按需设计； 形式形式源系统模型；近源系统模型设 计； 根据支持应用情 况可以保留短期 历史； 面向主题设计； 偏范式化； 长期保留历史； 初步数据加工； 分层设计； 形式各异，依具 体应用不同； 技术缓冲层近源模型层整合模型层共性加工层应用集市层 议程 引言 BI环境中的数据层次 各层次设计重点 各层次数据使用 小结 重点关注层次 近源模型层近源模型层 基本依照源系统建模 尽量保持业务数据原貌 整合模型层整合模型层 面向整合 主题设计

6、提供规范和共享 应用集市层应用集市层 面向应用 按需定制 共性加工层共性加工层 初级的数据加工 依赖对应用的提炼 技术缓冲层技术缓冲层 ETL专用的纯技术层 完全与源系统结构一致 各层设计重点 主题定义 框架设计 整合策略 实施方法 整合模型层整合模型层 应用筛选 应用提炼 共性加工层共性加工层 整体性 一致性 应用集市层应用集市层 整合模型层主题定义 产品 客户 化 自行 设计 项目目标是什么？ 可参考主题都 有哪些？ 该主题在当前环 境下是否适用？ 是否需要其 他修改？ 目标达成！ 项目目标是什么？ 总是有这些共通的主 题：客户、协议(账户)、 产品、事件(交易) 其他业务信息的 归纳 使

7、用业务熟悉的 主题词汇 目标达成！ 整合模型层框架设计 主实体 名称 含义 分类 分类依据 子类名称 子类含义 关系 主实体间关系 其他重要关系 框架设计体现了模型设计原则 框架决定了模型的整体结构 框架是基石，经验是资源 整合模型层框架设计(续1) 主实主实 体体 主题 关系 基本 分类 关键 实体 关键 关系 定义各主题主实体 定义主题间的关系 定义各主题下的 关键实体 定义主实体的基本分类 定义关键业务实体、主实 体间的关系 整合模型层整合策略 同一业务对象有多种实例 是否整合是否整合依赖业务现状，需要确定影响性 确定信息源 选择单一信息源(系统)？还是多个源？ 源保留策略 整合前信息是

8、否保留？ 整合标识选择 整合后的对象标识选择已有标识？还是新建？ 确定业务对象整合策略 整合模型层整合策略(例) 举例某银行客户信息现状： 已经有ECIF系统处理全行的客户信息，包括个人和对公；并 且已进行全行系统客户编号整合，但不排除一些历史遗留数据； 信贷系统认为ECIF系统的客户信息不足以支持客户贷款管理， 因此在ECIF基础上新增了一些客户信息，单独保存； 信贷系统除了客户初笔业务时和ECIF交互客户信息外，均独 立维护客户信息； 可以得出： (1) 可以ECIF客户信息为主，将其他系统客户信息进行整合； (2) 历史遗留数据可能无法和ECIF客户相对应； (3) 其他系统存在ECIF

9、中没有的客户信息； (4) 其他系统可能存在和ECIF中客户信息不一致的数据； 整合模型层整合策略(例续) 是否整合整合，和业务部门讨论后确定以ECIF为主 构建客户统一视图 确定信息源两个源系统信息有交叉，均作为本次客户 整合的信息源 源保留策略源系统客户信息不做保留 整合标识选择不新增标识，取用ECIF客户标识 经确认，得出客户主题整合策略： 整合模型层实施方法 整合业务对象的所有信息源列表 整合业务对象下的信息项取舍规则 源信息保留规则 标识的定义规则、标识的映射规则(若新增标识) 标识选取规则(若选取原有标识) 例外处理 在整合策略的指导下，定义具体的整合方法在整合策略的指导下，定义具

10、体的整合方法 整合模型层实施方法(接前例) 信息源取舍核心和信贷两大系统负责维护客户信息，因 此作为客户整合的信息源 信息取舍以核心系统为准，信贷系统补充 源信息保留N/A 标识选择规则取用ECIF客户标识 例外处理信贷系统存在核心系统没有的客户，对于 ECIF中没有的客户，按“信贷系统编码+前 缀”设定客户标识。 经确认，得出客户整合的实施方法： *实际情况中整合规则需要详细到可操作程度 共性加工层设计目标 技术层面 避免相同汇总数据的重复计算和存储，减少系统开销 实现共享，降低应用开发和数据查询的复杂度 避免数据加工口径的不一致 业务层面 实现对常用统计口径的统一定义和维护 便于业务人员理

11、解，直接进行数据分析 共性加工层应用筛选 确定业务指标、业务口径收集范围 依赖于项目目标 依赖于业务部门配合程度 并不局限于当前基础数据的满足程度 须确保后续有相关业务人员回答加工口径问题 共性加工层应用提炼 选取/提炼公用度较高的业务统计口径 可能是某一个业务统计指标的一个中间统计口径 需要业务部门的鼎力支持 需要参考外部的行业统计分析经验 很大程度依赖于模型设计人员对业务的理解 整合有差异的业务统计口径 是否整合同样依赖于业务现状 需要有完整的文档描述加工规则和适用范围 应用集市层按需定制 面向应用的 模型设计 尽可能使用共性加尽可能使用共性加 工层模型实体工层模型实体 整体性整体性 一致

12、性一致性加工规则应尽量和加工规则应尽量和 已有规则保持一致已有规则保持一致 议程 引言 BI环境中的数据层次 各层次设计重点 各层次数据使用 小结 各层次数据使用 示例 BI数 据 审计/风险管理等 常常需要未经加 工的业务原始数 据(近源模型层) 源数据质量检查规 则通常部署在近源 模型层，同时提供 常规报告 业务部门人员多数需 要常规报表供日常呈 报(共性加工层) POWER USER通 常需要访问整合模 型层对数据进行深 入分析 业务人员参考整合 规则来验证业务正 确性(整合模型层) 业务人员通过设定 业务检查规则来明 确模型可用性(共性 加工层) 应用用户、决策用 户会访问特定应用 (

13、应用集市层) 引言 BI环境中的数据层次 各层次设计重点 各层次数据使用 小结 议程 各数据层次的关键点 目标目标 以数据下载的结构 为准，一般与源系 统结构相同； 数据可能是增量， 也可能是全量； 用于技术加工； 短期的，细节的反 应业务原貌的数据 存储； 直接提供基于源系 统结构的简单原貌 访问； 为BI环境中适合的 业务需求提供支持 ； 长期的，细节的，整合 的数据存储； 为BI环境中适合的各类 业务需求提供支持； 相对中性，具业务意 义的初加工数据，但 不面向特定应用； 作为上层应用数据加 工的基础，或供业务 人员直接访问； 服务特定应用； 原则原则 简单处理； 关注源系统结构的 变化

14、； 简单处理，不考虑 整合； 关注保留策略； 面向全局，数据整合； 中性设计，灵活扩展； 提供规范和共享； 提炼应用需求共性； 多种数据粒度； 易于理解和使用； 面向具体应用； 按需设计； 形式形式 源系统模型；近源系统模型设计 ； 根据支持应用情况 可以保留短期历史 ； 面向主题设计； 偏范式化； 长期保留历史； 初步数据加工； 分层设计； 形式各异，依具体应 用不同； 重点重点 理解源结构；理解源结构； 主题定义； 框架设计； 整合策略； 实施方法； 应用筛选； 应用提炼； 整体性； 一致性； 用途用途 不对外提供数据服 务； 业务原貌查询； 即时报表； 数据质量检查； 灵活查询； 整合规

15、则检查； 常规报表； 灵活查询； 业务规则检查； 特定应用； 技术缓冲层近源模型层整合模型层共性加工层应用集市层 不同类型项目的数据层次建议 ODSODS视加工过程是否 需要而定，非必 须，但一般会有 同源设计，基本 不做处理 必须，是ODS核 心模型层 简单处理 视项目具体需求而 定，非必须建设层 次 只针对必须整合且 比较基础的部分才 考虑建设此层 视项目具体需求 而定，非必须建 设层次 视项目具体需 求而定，分仓内 仓外两种建设策 略 EDWEDW视加工过程是否 需要而定，非必 须，但一般会有 同源设计，基本 不做处理 视项目具体需求 而定，非必须建 设层次 必须，是EDW核心 模型层 整合设计 建议保留 兼顾业务需求和 数据处理性能双 方需求 视具体情况而 定，分仓内仓外 两种建设策略 按单个应用分 别建设 技术缓冲层近源模型层整合模型层共性加工层应用集市层 小结 数据层次仅是建议规范的一种表现形式，并不能够代表所 有的情形。 通过层次的标准化，可以帮助理解数据的传递路径和定位、 使用方式和服务对象、范围等。 需要重点把握的是每个数据层次的定位