《银行ODS整体架构及实施案例mdcl资料》由会员分享，可在线阅读，更多相关《银行ODS整体架构及实施案例mdcl资料（55页珍藏版）》请在金锄头文库上搜索。
1、Consult Build Deploy Manage 现代设备 中国 有限公司 北京环亚时代信息技术有限公司 银行ODS系统 整体架构及实施案例 Rachel Jiang 12 8 2010 大纲 总体介绍 ODS系统整体架构 ODS系统技术实现 实施案例 ODS定义 什么是ODS ODS是一个面向主题的 集成的 可变的 当前的细节数据集合 用于支持企业对于即时性的 操作 性的 集成的全体信息的需求 常常被作为数据仓库的过渡 也是数据仓库项目的可选项之一 Kimball关于ODS的定义 是操作型系统中的集成 用于当前 历史以及其它细节查询 业务系统的一部分 为决策支持提供当前细节数据 数据仓
2、库的一部分 ODS特性 ODS的特性 面向业务主题搭建 是集成的数据集合 包含多个源操作型业务系统数据 是以当前数据为主 含较短历史 相对于数据仓库 的数据集合 是可变的数据集合 基础数据存储结构上一般不做转换 尽量与业务数据库保持一致 可用于当前的 较短历史的以及其它细节数据的查询 支持根据应用主题需要做进一步的加工汇总 ODS作用 为什么要ODS 建立全行一体化的数据服务机制 实现数据服务的提供 管理 发布和使用功能 支持技术扩展和业 务应用的快速开发 对业务数据进行标准化 规范化 缩短应用系统的实施路径 减少重复开发 降低整体开发成本 提 高业务管理部门数据需求的响应速度和准确性 并通过
3、模型和知识库积累业务经验 为更深层次的决 策分析和数据挖掘奠定基础 ODS业务目标 统一客户视图的提供及展示 统一准实时共享数据接口 数据质量的校验及管控 生产经营报表统一的提供和展示 生产经营关键绩效指标与经营风险的监控 生产经营过程所需跨系统数据的批量计算 按照企业数据模型收敛并 整合数据 提供运营数据 共享 支撑跨系统数据的 应用 提升数据质量 ODS系统逻辑架构 ODS系统未建前 ODS系统逻辑架构 ODS系统搭建 ODS逻辑架构说明 ODS定位 定位于企业的基础数据平台 提供数据集成加工服务以及查询服务 ODS数据采集 ODS不产生 不修改源数据 ODS的数据主要来源于生产系统 通过
4、数据抽取 加载过程完成本系统内数据更新 数据组织 ODS主要提供细粒度运营数据 也存在部分粗粒度汇总数据 但维度相对DW简单 ODS按关注生产运营过程的统计与监控为主的生产视角主题域方式来组织数据 一般基础数据与源业务系统接近 ODS提供当前数据的统计与监控 数据共享 ODS采集整合各源生产系统数据 为数据实时性要求相对较低的系统或某些系统功能提供近实时的 跨系统数据共享服务 数据质量 ODS提供提升数据质量管理手段和技术手段 发现数据质量问题 系统功能 查询 交易型查询由业务系统完成 ODS提供集成数据的查询分析服务 分担业务系统压力 报表 基于跨系统数据的固定或动态报表 基于单系统数据的
5、实时性要求不高的固定或动态报表 计算 提供基于跨应用的 当前数据的计算加工功能 为各类集市提供汇总指标数据 近实时应用 ODS可以按需提供联机近实时应用 例如基于事件 基于业务规则的数据检查和预警 ODS与DW的关系及区别 分类ODS系统DW系统 目的接近实时监控决策支持 共同点整合数据整合数据 面向主题面向主题 不同点动态数据 延迟 1秒 静态数据 延迟 24小时 当前数据历史数据 细节化数据概括性数据 企业能够把握ODS中的当前综合 数据 对企业的及时运行情况随时 掌控 企业能够分析DW中的历史数据 进行中远期的规划 实施结果 不能满足企业的实时监控和实时 业务需求 可以解决企业的决策需求
6、DW 实施方案优势劣势 ODS可以满足企业的实时监控 和实时业务需求 不能满足企业的中远期决策需求 概要比较 实施方案比较 ODS与DW的关系及区别 分类ODS系统DW系统 使用对象一线的生产和管理人员 专业分析人员和企业中高层管理人员 数据来源ODS的运营数据来源是生产系统 DW运营数据主要从源系统或ODS获取 ODS没有提供的运营数据直接从源系统中提 取 数据获取性能与及 时性 ODS主要以小批量近实时方式支持OLTP类型 的数据更新 数据更新时间短 性能与及时 性都高于DW DW主要以批量方式加载数据 数据实时更 新要求不高 数据架构ODS主要提供细粒度运营数据 也存在部分 粗粒度汇总数
7、据 但维度相对DW简单 ODS按关注生产运营过程的统计与监控为主 的生产视角主题域方式来组织数据 ODS提供当前数据的统计与监控 DW主要提供多层粗粒度汇总数据 且分析 维度和时间周期相对ODS更多 DW按关注对历史数据的深层次分析与挖掘 为主的分析视角主题域方式来组织数据 DW提供历史数据的展示和分析 数据共享ODS直接为生产系统提供运营数据的准实时 共享服务 DW不为生产系统提供数据共享服务 系统功能数据服务 为生产系统提供数据共享 查询功能 例如客户账单 详单数据查询等 报表功能 报表内容主要面向生产数据的统 计与监控 数据质量审计和监控管理 深层次的历史数据分析 多维分析 支持多个维度
8、的主题分析 趋势 分析与问题发现 数据挖掘 例如客户消费行为分析 客户流 失倾向 客户价值评估等 提供评估与决策功能 技术特征ODS主要实现大并发量数据访问 支持OLTP类型和OLAP类型的数据操作 DW主要实现小并发量数据访问 支持OLAP类型的数据操作 分类比较 大纲 总体介绍 ODS系统整体架构 ODS系统技术实现 实施案例 ODS整体架构 目标系统 国际业务系统 外汇系统 Siebel CRM 信用卡反欺诈 信贷系统 反洗钱 零售信贷部 资产负债 管理会计 FTP 结果数据 ASCII编码 标准 数据层 SDM 加工 汇总层 ADM 源系统FTPODS系统 FDM Staging Ar
9、ea FDM HDB 历史数据存储区 源系统业务特征区SBA 轻度汇总区LAM C D FTP 转码 管理信息 共享区 PDA 源系统数据 EBCD编码 源系统数据 ASCII编码 核心系统区 信用卡系统区 网银系统区 电话转账 信贷系统 动态密码 信用卡V 国际业务 新网银 综合核心系统 信用卡系统 FTP ETL ETL ETL ETL ETL 1 第三方存管 2 货押 3 大小额支付 4 同城支付 5 ATMPVC 6 银企直连 7 支票直通车 8 金卡 9 信用卡 10 信贷 11 信用卡V 12 动态密码库 13 国际业务 14 个贷 15 个人外汇 16 人力资源 17 金卫士通知
10、 18 金卫士支付 19 联网核查 20 新黄金 21 新理财 22 新基金 23 新网银 24 票据 25 全国票据影像 26 电话转帐 27 交易资金监管 28 柜员管理 29 同城票影 30 综合核心 31 资金 32 Etc 实现多个源数据集成 ODS系统改造实现的功能 实现多个源系统的数据集成 实现多个系统的数据共享和互访 提供CRM系统分析所需要的基础数据 提供外围系统所需要的基础数据 提供数据的快速响应 提升数据的处理性能 ODS 整体架构 ODS接口统计表 数据交换平台 数据交换平台 由两台服务器组成 分别采用C D工具和 FTP作为文件传输 源系统采用卸载文件方式 将卸载文件
11、存 放服务器上 然后ETL抽取 ODS供给外围系统的数据存放在服务器上 保留10天历史数据 ODS Staging Area ODS Staging Area 是基础数据层FDM的一部分 集成业务源系统文件数据库 关系型数据库的业 务数据 数据结构与字段格式 内容遵循源系统数据或下 传文件数据结构与字段格式 不做任何转换 保 留原始数据 避免数据失真 保证源数据集成的 颗粒度与精度 Staging Area为每条数据加上源系统代码 数据 统计日期两个特征字段 数据存储一般为当日全量 部分表为当日增量 如果源系统可以提供当日增量的条件下 为当日全量中的每天数据计算Hash值 用作下 一步的增量判
12、断 增加数据存储分区标志 提高 读取性能 通过Staging区集成 减少HDB集成过程中数据 变化和不稳定的窗口期 作为各项应用重抽或追溯计算的最上游数据源 ODS HDB FDM HDB历史数据存储层 是基础数据层FDM的一部分 通过嵌SQL Coding完成从Staging area向HDB的数据加载 HDB数据结构及字段格式与Staging Area完全保持一致 HDB不对数据做任何转换和清洗 HDB中各表数据基本为增量加载 但不 排除为提高业务访问性能 个别数据表采 用每日全量存储 HDB保存至少一年的历史数据 超过存储周期的历史数据 将根据业务 需要 采取清空或结转操作 保证业务的
13、连续性 ODS 轻度汇总层 SBA 业务特征区SBA 数据处理方式多样 不局限 数据来源主要为FDM中部分业务数据 的最新时点数据 但可能会存放部分 DM基础模型的最新时点数据 SBA中 存放的数据范围由业务应用综合决定 从FDM向SBA加载过程中 需要完成 技术型清洗 维度标准化 部分数据加工工作 此处客户相关模型的标准化工作应与 Siebel CRM一致 ODS 轻度汇总层 轻度汇总层LAM 数据处理方式多样 不局限 标准数据层SDM 以SBA清洗后的数据为基础 形成当前时点的标 准业务模型 部分标准模型来源于DM 业务源系统之间的客户自动合并也在SDM层完 成 包括基础主题模型 基础业务
14、流程模型以及标准 维度模型 本次项目需将Siebel S Party客户模型加载 到SDM 加工汇总层ADM 根据业务需求 形成根据业务源数据进行客观计 算后得到的汇总数据 即包括数据聚合 也包括数据 变型 汇总数据一般与DM各项配置参数无关 汇总数据一般采取联合维度模式存放 可提供进 一步汇总或与DM各项参数的联合计算 管理信息共享区PDA 一是用于各DM计算结果的发布与共享 二是为减轻各DM压力 可以将DM参数取回本区 域 然后结合轻度汇总层其它区域的客观数据 进行 联合计算 并存放计算的中间结果或最终结果 三是针对部分特定需求 根据轻度汇总层甚至 FDM数据计算生成独立的展现结果并存放
15、各数据层次数据存储信息 ODS层级数据存储生命期数据转换 FTP服务器10天不进行数据转换 基础数据 层FDM Staging Area7天基本不进行数据转换 历史数据层 HDB 至少1年基本不进行数据转换 轻度汇总区LAM视管理应用需求及业务模型 而定 技术型清洗 维度标准化 业务 模型化及轻度汇总计算 大纲 总体介绍 ODS系统整体架构 ODS系统技术实现 基础数据层FDM实施方案 轻度汇总层LAM实施方案 数据处理整体调度设计 实施案例 大纲 总体介绍 ODS系统整体架构 ODS系统技术实现 基础数据层FDM实施方案 轻度汇总层LAM实施方案 数据处理整体调度设计 实施案例 ODS整体架
16、构 基础数据层FDM 全量 通过统一调度程序 只需通过配置调度控制参数 即可实现数据处理的并行与串行 使得 数据处理的有序高效进行成为可能 通过统一监控页面 为管理人员 维护人员查看数据处理运行状态 监控数据处理运行日志 跟踪和调试数据处理错误信息提供便捷的入口 数据处理统一调度平台 基于Siebel OCRM页面功能实现 说明 由于统一调度平台设计相对复杂 详细文档请参考 整体调度详细设计文档 详细设计请参考相关文档详细设计请参考相关文档详细设计请参考相关文档详细设计请参考相关文档 大纲 总体介绍 ODS系统整体架构 ODS系统技术实现 基础数据层FDM实施方案 轻度汇总层LAM实施方案 数据处理整体调度设计 实施案例 1 192 168 用于Greenplum管理 即管理IP段 2 172 16 0 172 16 3 用于Master与Segment之间内部通 信 即内联网IP段 内联网交换机提供多路由功能 3 10 1 1 用于Greenplum Master与用户端的通信 Standby Master Host作为Master Host的备机 网络拓朴图 0 00 460 00
