《银行ODS系统介绍》由会员分享，可在线阅读，更多相关《银行ODS系统介绍（58页珍藏版）》请在金锄头文库上搜索。
1、银行ODS系统介绍*2*大纲 ODS总体介绍 ODS系统解决方案 Greenplum数据库介绍3*信贷核心业务信用卡证券渠道OCRM对公个人手机银行网上银行呼叫中心中间业务网点前置票据保理资产 负债 管理客户 关系 管理风险 管理财务 绩效建设商业银行各类业务流程之后p如何把管理经验信息化 p如何应对监管要求 p如何体现管理中的股东利益p如何识别、规避和管理各类风险p如何实现以客户为中心的体系 p如何为客户提供恰当的服务 p如何使各类信息系统支持营销 p如何进行产品定价p如何建立银行全面绩效体系 p如何辅助管理部门和领导进行决策 p如何为各业务部门提供精确业务信息商业银行信息系统业务范畴4*建
2、设应用集市面临的困难普遍存在的问题具体表现n数据分散，信息不能共享n数据分散存储在各业务系统中，形成“信息孤岛”，相互之间信息不能共享 。有信息流失的可能。 n在数据利用上，各系统相互独立，存在功能重复开发，数据存储冗余等问 题。 n各系统的客户信息相对独立，没有统一的客户编号作为客户惟一标识。 n分散的数据需要整合。n数据规范、业务标准不统一n数据不一致 n代码不规范 n分类标准不一样 n需要全行统一客户、产品、渠道等分类标准n各系统的关联性与数据交换没有统筹考虑n正在规划和建设中的系统，其关联性还没有统筹考虑 n各系统间的数据接口、数据传输和数据交互需要定义 n系统间的数据交换复杂而低效，
3、网状结构、效率低下、数据冗余。n手工数据n许多宝贵的客户资料还以纸介质的形式存在于客户经理手中 n部分业务系统以Excel形式手工记帐 n手工数据缺乏标准 n手工数据的整理与再应用已十分迫切n历史数据保留n历史数据的在线保留已为许多应用迫切需要 n历史数据是客户行为分析的基础把各类管理类业务建立在一 个统一的框架之下，形成一 个标准化的、可持续发展的 、数据口径一致的管理信息 平台，是目前商业银行发展 最迫切的要求5*ODS定义什么是ODS？ ODS是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息的需求。 Kimball关于ODS的定义（
4、）： 是操作型系统中的集成，用于当前、历史以及其它细节查询(业务系统的一部分) 为决策支持提供当前细节数据(数据仓库的一部分) 6*ODS定位ODS定位： 在业务 系统和数据仓库 之间形成一个隔离层 转移业务 系统细节 数据查询 的功能 对各系统业务 数据进行标准化、规范化，进行数据质量管理，实现 全企业的统一数据视图 支撑跨系统数据的应用，提供数据共享，建立全行一体化的数据服务机制 满足银行在业务经营 和精确管理方面对高质量、高时效信息共享的迫切需求7*数据共享1. 消除网状接口，以ODS为中心建立数据共享中心，为各业务系统提供共享数据，降低接口复杂度，提高系统间接口效率与质量2. 以实时或
5、准实时的方式将整合或计算好的数据向外系统提供数据整合1. 统一数据模型2. 统一数据标准3. 统一数据视图数据质量的校验及管控ODS系统目标数据应用1. 查询应用2. 固定报表应用3. 动态分析应用4. 风险监控应用5. 营销支撑应用作为企业运营数据共享 平台，集成企业各业务 系统中的运营数据，按 照企业数据模型收敛并 整合数据，提供运营数 据共享，支撑跨系统数 据的应用，提升数据质 量8*统一客户视图的提供及展示ODS业务目标生产经营报表统一的提供和展示生产经营关键绩效指标与经营风险的监控生产经营过程所需跨系统数据的批量计算ODS作为一个独立的系 统，是企业数据架构的 重要组成部分。ODS完
6、 成跨系统数据整合后， 可实现的业务目标包括 ：营销支撑应用9*ODS系统逻辑架构ODS系统未建前：10*ODS系统逻辑架构ODS系统搭建后：11*ODS逻辑架构说明12*ODS逻辑架构说明ODS数据采集：ODS不产生、不修改源数据；ODS的数据主要来源于联机交易系统，通过数据抽取、加载过程完成本系统内数据更新。数据组织 ： ODS主要提供细粒度运营数据，也存在部分粗粒度汇总 数据，但维度相对DW简单 。 ODS按关注生产运营过 程的统计 与监控为主的生产视 角主题域方式来组织 数据，一般基础数据与源业务 系统接近。 ODS提供当前数据的统计 与监控。系统功能： 查询 ：交易型查询 由业务 系
7、统完成，ODS提供集成数据的查询 分析服务，分担业务 系统压 力。 报表：基于跨系统数据的固定或动态报 表；基于单系统数据的、实时 性要求不高的固定或动态报 表。 计算：提供基于跨应用的、当前数据的计算加工功能，为各类集市提供汇总 指标数据。 近实时应 用：ODS可以按需提供联机近实时应 用，例如基于事件、基于业务规则 的数据检查 和预警。13*ODS的实施价值降低管理信息系统建设复杂度减少重复的技术和应用开发投资，大幅降低管理信息系统的总体成本降低信息分析成本，缩短应用集市的投产周期，并可提高数据质量，延长信息系统寿命提供高质量的数据服务和技术平台有利于经验和成果的复制14*ODS的发展前景
8、自动化服务标 准金融服务业的业务改善机会（BIO)事件和营销活动管理关系优化和对象 客户管理行为分析和建 模客户分群客户管理价值驱动值驱动运营和绩效管理财务管理风险管理信息管理市场风险管理反欺诈和反洗 钱管理信用风险管理企业级风险管 理(ERM) 可保留10天历史数据。21*ODS基础数据层 Staging AreaODS Staging Area： 是基础数据层FDM的一部分； 集成业务源系统文件数据库、关系型数据库的业 务数据； 数据结构与字段格式、内容遵循源系统数据或下 传文件数据结构与字段格式，不做任何转换，保 留原始数据，避免数据失真，保证源数据集成的 颗粒度与精度； Staging
9、 Area为每条数据加上源系统代码、数据 统计日期两个特征字段； 数据存储一般为当日全量；部分表为当日增量（ 如果源系统可以提供当日增量的条件下）； 为当日全量中的每天数据计算Hash值，用作下一 步的增量判断；增加数据存储分区标志，提高读 取性能； 通过Staging区集成，减少HDB集成过程中数据 变化和不稳定的窗口期； 作为各项应用重抽或追溯计算的最上游数据源。22*ODS基础数据层 HDBFDM-HDB历史数据存储层： 是基础数据层FDM的一部分； 通过嵌SQL Coding完成从Staging area 向HDB的数据加载； HDB数据结构及字段格式与Staging Area完全保持
10、一致； HDB不对数据做任何转换和清洗； HDB中各表数据基本为增量加载，但不 排除为提高业务访问性能，个别数据表采 用每日全量存储； HDB可保存至少一年的历史数据； 超过存储周期的历史数据，将根据业务 需要，采取清空或结转操作，保证业务的 连续性。23*ODS 轻度汇总层SBA业务特征区SBA（数据处理方式多样、 不局限） 数据来源主要为FDM中部分业务数据 的最新时点数据；但可能会存放部分 DM基础模型的最新时点数据；SBA中存 放的数据范围由业务应用综合决定； 从FDM向SBA加载过程中，需要完成技术型清洗;维度标准化;部分数据加工工作；24*ODS 轻度汇总层轻度汇总层LAM：（数据
11、处理方式多样、不局限） 标准数据层SDM：以SBA清洗后的数据为基础，形成当前时点的标 准业务模型；部分标准模型来源于DM；业务源系统之间的客户自动合并也在SDM层完成 ；包括基础主题模型、基础业务流程模型以及标准 维度模型。 加工汇总层ADM：根据业务需求，形成根据业务源数据进行客观计 算后得到的汇总数据；即包括数据聚合，也包括数据 变型；汇总数据一般与DM各项配置参数无关；汇总数据一般采取联合维度模式存放，可提供进 一步汇总或与DM各项参数的联合计算； 管理信息共享区PDA：一是用于各DM计算结果的发布与共享；二是为减轻各DM压力，可以将DM参数取回本区 域，然后结合轻度汇总层其它区域的客
12、观数据，进行 联合计算，并存放计算的中间结果或最终结果；三是针对部分特定需求，根据轻度汇总层甚至 FDM数据计算生成独立的展现结果并存放；25*大纲 ODS总体介绍 ODS系统解决方案 ODS系统整体架构 ODS建设路线 Greenplum数据库介绍26*ODS建设路线整体规划，分步实施统一模型，统一接口稳健推进，平滑过渡加强管控，有序实施n完成核心数据的整合n实现数据质量管理n建立初步的数据共享中心n扩大整合的数据域n扩展数据质量功能n提供全面数据共享服务n扩展与完善企业经营报表n扩展批量计算功能n扩展营销支撑应用n建立企业级运营数据共享平台n建立完善数据质量管控体系n构建全面高效的营销支撑
13、应用不断优化演进27*大纲 ODS总体介绍 ODS系统解决方案 Greenplum数据库介绍 产品功能 产品优势 性能测试28*大纲 ODS总体介绍 ODS系统解决方案 Greenplum数据库介绍 产品功能 产品优势 性能测试29*MPP (Massively Parallel Processing) Shared-Nothing ArchitectureNetwork InterconnectMaster Severs生成查询计划分配派发汇总执行结果Segment Severs执行查询计划数据存储管理SQL MapReduceExternal Sources并行装载或导出Greenplum
14、架构30*Private Computing Cloud云计算特点Greenplum特点超大规模大规模并行处理无共享架构，支持1000个以上节点虚拟化支持主流虚拟化技术高可靠性多级容错机制，高可靠Mirror技术通用性支持各种工具、开发框架和接口高可扩展性增加节点，性能和存储容量线性扩展按需服务多维负载管理技术，资源随需定制低总体成本采用X86架构PC Server，更低TCO 私有云计算平台31*MPP核心技术Query Planner 及优化器(SQL)并行数据流引擎交易管理器 及日志文件ODBC JDBC etc数据库存储外部存储MapReduce代码 （Python、Perl等）利用原生MapReduce模型实现，比传统快数十倍 全部SQL逻辑都可以并行执行 并行技术加载和导出数据 并行数据备份和恢复并行数据流引擎32*MasterSegmentSegmentSegmentSegmentMasterMaster Node 建立与客户端的连接和管理 SQL的解析并形成执行计划 执行计划向Segment的分发 收集Segment的执行结果 Master不存储应用业务数据，只存储数据字典Segment
