《银行数据仓库解决方案》由会员分享，可在线阅读，更多相关《银行数据仓库解决方案（17页珍藏版）》请在金锄头文库上搜索。
1、 2011 IBM Corporation银行数据仓库解决方案银行数据仓库解决方案 2011 IBM CorporationIBM Global Technology Services内容提要2p总体体系p数据支撑平台p数据交换平台p数据中心p数据缓冲层p基础书局整合层p公共指标汇总层p数据集市层p历史数据中心p管理应用整合平台p主要管理类应用系统示例p附件：cognos简介 2011 IBM CorporationIBM Global Technology Services总体体系3源数据核心系统中间业务系统国际业务系统信贷业务系统银行卡系统资金业务系统财务系统电子渠道系统综合柜面系统数据中
2、心数据交换平台/文件服务器/数据总线数据缓冲层基础数据整合层公共指标数据加工层数据集市层管理应用整合平台管理类应用系统数据支撑平台历史数据中心 2011 IBM CorporationIBM Global Technology Services数据支撑平台4数据支撑平台作业调度工具元数据管理批量文件传输工具ETL工具数据质量保证运行日志监控作业调度工具一般须具备作业调度、监控、管理、调试功能，需具备集群部署的特征，支持负载均衡。目前的市场上的作业调度工具主要有：ICTRL-M、各主要ETL工具中集成的调度工具（如DATASTAGE 的JCI）、国内厂商的专业调度工具、为满足某项目而临时搭建的脚
3、本类作业调度等，我们建议选择专业的支持主流ETL工具的调度软件产品。批量文件传输工具一般须具备端到端（域内、跨域）的文件高速、可靠传输，支持文件传输的断点续接，支持文件传输的自动化组合，支持同步/异步传输，支持传输过程的全程监控，支持集群部署。目前的市场上的作业调度工具主要有：IBM的sterling、国内厂商的文件传输工具(如前LFT的ftms)。元数据管理：元数据一般分为业务元数据（业务指标、业务术语、业务规则、)和技术元数据（模型（erwin、PD）元数据、应用报表元数据、etl元数据、源系统元数据、仓库元数据），元数据管理功能上大致划分为：元数据模型定义、元数据信息采集、元数据信息存储
4、维护、元数据信息应用（影响分析、血缘分析、全链分析、活力分析、孤立对象分析、一致性分析、版本比对、质量分析等）。元数据管理的难点在于元数据模型定义的质量和etl元数据信息的自动采集。ETL工具：目前数据仓库项目使用的主流etl工具有：datastage（IBM）、Powercenter(Informatica)、OWB(oracle)、ETLAutomation(Teradata)、存储过程、基于C的ETL等，一般ETL工具的选择须按ETL作业的类型、对某型ETL工具的熟悉程度等来选择，最好能固定特定的ETL工具。数据质量保证：主要包括银行标准数据字典的定义、数据质量标准定义、数据质量管理流程
5、的制定和执行、清晰规划功能和数据的关系。运行日志监控：主要系统运行日志（主机、存储、网络等）和应用日志监控。 2011 IBM CorporationIBM Global Technology Services数据交换平台5数据交换平台，本质上是文件服务器，存储各IT系统上传的数据文件。文件服务器文件组织形式x1系统系统备份策略清理策略命名规则文件传输监控文文件件服服务务器器x2系统系统x3系统系统xn系统系统上上传传下下载载上上传传下下载载上上传传下下载载上上传传下下载载文件存储组织数据平台的作用：作为各系统之间的文件异步传输通道备份各系统上传文件供各数据消费系统回溯。消除各系统间批量数据依
6、赖死锁 2011 IBM CorporationIBM Global Technology Services数据中心-数据缓冲层6数据组织策略数据加载策略数据质量检查策略数据保存策略为什么设立数据缓冲层隔离数据中心和文件服务器，降低文件服务器和数据中心的耦合度避免在建立基础数据层数据模型时，对于源业务系统数据文件的多次重复操作，通过直接操作数据库表的方式，提高操作效率，同时简化后期基础数据层进行数据的分类整理时的逻辑操作；通过建立与原系统一致或类似的数据库表，便于保持和检查与原系统数据格式、内容的一致性和完整性 2011 IBM CorporationIBM Global Technology
7、 Services数据中心-基础数据整合层7基础数据整合层的目标是按主题构、轻度汇总的、统一数据标准的、与源数据粒度基本一致的企业级（非部门级）数据信息主题模型（这里只列出第一层级模型）公用主题团体主题产品主题渠道主题协议主题事件主题总账主题基础数据整合层部分特点：数据存储粒度贴近源系统数据数据按从企业角度按主题重组。按主题进行轻度数据汇总解决数据语义的统一。解决部分数据质量问题（部分数据缺失、部分数据冗余、部分数据错误等）。按主题（非跨主题）进行部分指标的轻度汇总。按主题进行部分数据拉链存储。 2011 IBM CorporationIBM Global Technology Service
8、s数据中心-公共指标数据加工层8公共指标数据加工层主要进行应用集市层和管理应用所需要的企业级公共指标加工部分汇总模型（仅供参考）账户汇总产品汇总客户信息汇总卡信息汇总渠道汇总机构汇总客户汇总公共指标数据加工层部分特点：为应用集市层和各类管理类应用系统提供企业级的公共指标数据。降低上层应用ETL工作量，避免各自加工带来的可能的公共指标的不一致，从而提高数据质量。本层数据模型设计尽可能遵从第三范式（无数据冗余）。数据保留策略以数据聚合度和业务要求为基础设计。签约信息汇总汇总 2011 IBM CorporationIBM Global Technology Services数据中心-数据集市层9数
9、据集市层是面向管理应用的，同时也是根据对管理应用类系统的分类结果而设计的。数据集市层的数据具有数据冗余和数据连续性的要求，其数据来源于数据中心的所有下层数据和历史数据中心数据。为什么需要数据集市层没有数据集市层的管理类系统架构场景加入数据集市层的管理类系统架构场景银行应用集市层设定（供参考）风险数据集市财管数据集市客户营销数据集市另外，汇总数据也不适合直接供给应用系统（为了保持相对稳定和降低数据冗余需遵循第三范式） 2011 IBM CorporationIBM Global Technology Services数据中心-数据集市层10数据集市层样例-风险问题：我们该怎样科学合理的规划应用集
10、市？ 2011 IBM CorporationIBM Global Technology Services历史数据中心11历史数据中心可以看作数据中心的历史数据归档备份。数据中心清理的数据一般被迁移到历史数据中心，为了减轻生产系统数据压力，生产系统的部分数据也会归档到历史数据中心。历史数据中心会向数据集市层和管理类应用系统供数，也会提供部分历史信息查询服务。历史数据中心历史数据中心管理决策系统管理决策系统生产系统（通过文件服务生产系统（通过文件服务器）器）数据中心数据中心应用集市层应用集市层 2011 IBM CorporationIBM Global Technology Services集
11、成报表工具的管理应用整合平台J2EE应用服务器（Websphere/Jboss/其他厂商数据库（DB2/Informix/其他厂商)业务流程库/业务规则库报表设计报表引擎 2011 IBM CorporationIBM Global Technology Services银行行业管理类主要应用系统13综合报表监管报送（工具）部门业务报表1104报表征信报表国际收支申报反洗钱风险管理经济资本管理信贷风险市场风险流动性风险操作风险产品定价营销管理ACRM客户信息挖掘内部管理事后监督稽核系统人力资源OA办公.全员绩效考核其他知识库管理档案管理数据维护管理.管理驾驶仓 2011 IBM Corpora
12、tionIBM Global Technology Services附件：Cognos简介-应用架构14即席查询灵活报表多维分析权限管理元数据建模管理即席查询灵活报表元数据建模管理报表与查询多维分析建模 2011 IBM CorporationIBM Global Technology Services附件：Cognos简介-技术架构展现层报表报表用户用户分析分析用户用户普通普通报表制作报表制作专业专业报表制作报表制作企业企业门户门户脱机脱机OLAPWeb层网关网关开发接口开发接口应用层报表服务报表服务分析服务分析服务即席查询服务即席查询服务 SOAP, XML Websphere/Tomcat/其他容器其他容器数据层统一元数据，为应用提供统一，一致的视图统一元数据，为应用提供统一，一致的视图模型数据模型数据MOLAP数据数据ROLAP数据数据数据源（db、excel、txt、xml、其他厂商模型数据 2011 IBM CorporationIBM Global Technology Services附件：Cognos简介-报表展示示例 2011 IBM CorporationIBM Global Technology Services17
