《银行ODS整体架构及实施案例_mdcl》由会员分享，可在线阅读，更多相关《银行ODS整体架构及实施案例_mdcl（94页珍藏版）》请在金锄头文库上搜索。
1、Consult Build Deploy Manage银行ODS系统整体架构及实施案例Rachel Jiang 12/8/2010NIDCL-FRONTLINE现代设备（中国）有限公司 北京环亚时代信息技术有限公司大纲总体介绍 ODS系统整体架构 ODS系统技术实现实施案例MDCL-FRONTLINEODS与DW的关系及区别MDCL-FRONTLINE*什么是ODS ?/ ODS是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作 性的、集成的全体信息的需求。常常被作为数据仓库的过渡，也是数据仓库项目的可选项之一./ Kimball关于ODS的定义（ ）:-是操
2、作型系统中的集成，用于当前、历史以及其它细节查询（业务系统的一部分）-为决策支持提供当前细节数据（数据仓库的一部分）0口5特，性MDCL-FRONTLINE4- ODS的特性/面向业务主题搭建，是集成的数据集合，包含多个源操作型业务系统数据。/是以当前数据为主、含较短历史（相对于数据仓库）的数据集合。/是可变的数据集合。/基础数据存储结构上一般不做转换，尽量与业务数据库保持一致。/可用于当前的、较短历史的以及其它细节数据的查询。/支持根据应用主题需要做进一步的加工汇总。ODS与DW的关系及区别MDCL-FRONTLINE*为什么要ODS ?/建立全行一体化的数据服务机制，实现数据服务的提供、管
3、理、发布和使用功能，支持技术扩展和业 务应用的快速开发。/对业务数据进行标准化、规范化，缩短应用系统的实施路径，减少重复开发，降低整体开发成本，提 高业务管理部门数据需求的响应速度和准确性，并通过模型和知识库积累业务经验，为更深层次的决 策分析和数据挖掘奠定基础。ODS业务目标生产经营过程所需跨系统数据的批量计算ODS系统未建前：面向主题的原始细节没行/很少的历史集成的清洗后历史的汇总的特殊需求综合 核心取洗换 抽清转载引合装索聚元数据系统监捽ODS系统逻辑架构ODS系统搭建:OLTP数据源系统监控ODS与DW的关系及区别MDCL-FRONTLINE* ODS定位：定位于企业的基础数据平台，提
4、供数据集成加工服务以及查询服务。* ODS数据采集：ODS不产生、不修改源数据;ODS的数据主要来源于生产系统，通过数据抽取、 加载过程完成本系统内数据更新。数据组织：/ ODS主要提供细粒度运营数据，也存在部分粗粒度汇总数据，但维度相对DW简单。/ ODS按关注生产运营过程的统计与监控为主的生产视角主题域方式来组织数据,T殳基础数据与源业务系统接近。/ ODS提供当前数据的统计与监控。*数据共享：ODS采集整合各源生产系统数据，为数据实时性要求相对较低的系统或某些系统功能提供近实时的 跨系统数据共享服务。4-数据质量：ODS提供提升数据质量管理手段和技术手段，发现数据质量问题。,系统功能：/
5、查询：交易型查询由业务系统完成，ODS提供集成数据的查询分析服务，分担业务系统压力。/报表：基于跨系统数据的固定或动态报表；基于单系统数据的、实时性要求不高的固定或动态报表。/计算：提供基于跨应用的、当前数据的计算加工功能，为各类集市提供汇总指标数据。/近实时应用：ODS可以按需提供联机近实时应用，例如基于事件、基于业务规则的数据检查和预警。概要比较:目的共同点整合数据整合数据面|可主题面向主题不同点动态数据（延迟1秒）静态数据（延迟24小时）当前数据细节化数据历史数据概括性数据实施方案比较:实施方案实施结果优势劣势DW企业能够分析DW中的历史数据， 进行中远期的规划可以解决企业的决策需求不能
6、满足企业的实时监控和实时 业务需求ODS企业能够把握ODS中的当前综合 数据，对企业的及时运行情况随时掌控可以满足企业的实时监控 和实时业务需求不能满足企业的中远期决策需求分类比较:分类ODS系统DW系统使用对象一线的生产和管理人员。专业分析人员和企业中高层管理人员。数据来源0 DS的运宫数据来源是生产系统。DW运营数据主要从源系统或ODS获取； ODS没有提供的运营数据直接从源系统中提 取。数据状取性能与及 时性ODS主要以小批量近实时方式支持OLTP类型 的数据更新，数据更新时间短，性能与及时 性都高于DW。DW主要以批量方式加载数据，数据实时更 新要求不高。数据架构ODS主要提供细粒度运
7、宫数据，也存在部分 粗粒度汇总数据，但维度相对DW简单； 0 DS按关注生产运营过程的统计与监控为主 的生产视角主题域方式来组织数据； 0 DS提供当前数据的统计与监控。DW主要提供多层粗粒度汇总数据，且分析 维度和时间周期相对ODS更多;DW按关注对历史数据的深层次分析与挖掘 为主的分析视角主题域方式来组织数据；DW提供历史数据的展示和分析。数据共享ODS直接为生产系统提供运营数据的准实时 共享服务DW不为生产系统提供数据共享服务。系统功能数据服务，为生产系统提供数据共享；查询功能，例如客户账单/详单数据查询等； 报表功能，报表内容主要面向生产数据的统 计与监控；数据质量审计和监控管理。深层
8、次的历史数据分析；多维分析，支持多个维度的主题分析，趋势 分析与问题发现；数据挖掘，例如客户消费行为分析、客户流 失倾向、客户价值评估等;提供评估与决策功能。技术特征ODS主要实现大并发量数据访问； 支持。LT P类型和。LA P类型的数据操作。DW主要实现小并发量数据访问; 支持OLAP类型的数据操作。大纲总体介绍 ODS系统整体架构 ODS系统技术实现 实施案例MDCL-FRONTLINEODS与DW的关系及区别MDCL-FRONTLINE实现多个源数据集成:ODS系统改造实现的功能:1.第二方存管2.货押3.大小额支付4.同城支付5.ATMPVC6.银企直连7.支票直通主8.金卡9.信用
9、卡10.信贷11.信用卡V+12.动态密码库13.国际业务14.个贷15.个人外汇16.人力资源17.金卫士通知18.金卫士支付19.联网核查20.新黄金21.新理财22.新基金23.新网银24.票据25.全国票据影像26.电话转帐27.交易资金监管28.柜员管理29.同城票影30.综合核心31.资金32.Etc.4实现多个源系统的数据集成；上实现多个系统的数据共享和互访；上提供CRM系统分析所需要的基础数据;1提供外围系统所需要的基础数据；上提供数据的快速响应，提升数据的处理性能。0DS接口统计表FDMHDB历史数据存储区该一系一区轻度汇总区LAMf标准 数据云 SDM加工 汇总层 ADM馥
10、信息 共享区 PDA基础数据平台(ODS)乙 x4繇魁镯区SBA信用卡系疏区IAIQLLETL数据交换平台MDCL-FRONTLINE数据交换平台：A由两台服务器组成，分别采用C:D工具和 FTP作为文件传输；A源系统采用卸载文件方式，将卸载文件存 放服务器上，然后ETL抽取；AODS供给外围系统的数据存放在服务器上A保留10天历史数据。综合核心系统ETL信用卡系统信贷系统动态幽（转码FTPASC嗡码ETLCD源系统数据-in/ EBC曲码信用卡V+ 国剧居 新网银电话转账标准加工管理信息摊层汇总层共享区SDMADMPDAFDM HDB历史数据存储区FTPETL工 C1LLETL结果数据ETL
11、 ASCII -./ODS Staging AreaMDCL-FRONTLINEIODS Staging Area :A是基础数据层FDM的一部分;德A集成业务源系统文件数据库、关系型数据库的业 B然嫄；r数据结构与字段格式、内容遵循源系统数据或下 r传文件数据结构与字段格式,不做任1可转换，保留原始数据,避免数据失真，保证源数据集成的 颗粒度与精度；I/A Staging Area为每条数据加上源系统代码、数据 统计日期两个特征字段；数据存储一般为当日全量；部分表为当日增量 （如果源系统可以提供当日增量的条件下）；为当日全量中的每天数据计算Hash值，用作下 一步的增量判断；增加数据存储分区
12、标志，提高 读取性能；A通过Staging区集成，减少HDB集成过程中数据 变化和不稳定的窗口期；作为各项应用重抽或追溯计算的最上游数据源。DCL-FRONTLINEODS HDB蹦交换平台sasWDs)信用卡系诜区ETL源系统数据z EBC曲码标准加工管理信息摊层汇总层共享区SDMADMPDA西区LAM7 VK源系统婶 ASC嗡码ETLElFDM HDB历麒据存储区FDM-HDB历史数据存储层：是基础数据层FDM的一部分;A通过嵌SQL Coding完成从Staging area向HDB的数据加载； HDB数据结构及字段格式与Staging Area完全保持一致;A HDB不对数据做任1可转换和清洗；A HDB中各表数据基本为增量加载，但不 排除为提高业务访问性能,个别数据表采 用每日全量存储；A HDB保存至少一年的历史数据；A超过存储周期的历史数据，将根据业务 需要,采取清空或结转操作，保证业务的 连续性。ODS与DW的关系及区别MDCL-FRONTLINEsasWDs)动态幽业务特征区SBA （数据处理方式多样、 不局限）数据来源主要为F D M中部分业务数据 的最新时点数据；但可能会存放部分 DM基础模型的最新时点数据；S
