数据集成整体项目解决方案

《数据集成整体项目解决方案》由会员分享，可在线阅读，更多相关《数据集成整体项目解决方案（8页珍藏版）》请在金锄头文库上搜索。

1、数据集成整体解决方案继系统集成、应用集成、业务集成之后，最头痛的数据集成(Data Integration)已渐被 各大企业纷纷触及。目前国内大多数企业还仅停留在服务于单个系统的多对一架构数据集成 应用，这种架构常见于数据仓库系统领域，服务于企业的商务智能。早期那些数据集成大家 大都是从ETL启蒙开始的，当时ETL自然也就成了数据集成的代名词，只是忽然一夜春风 来，各厂商相继推出DI新概念后，我们不得不再次接受新一轮的DI洗脑，首推的有SAS DI、 Business Objects DI、Informatica DI、Oracle DI(ODI)等厂商。数据集成，主要是指基于企业分散的信息系

2、统的业务数据进行再集中、再统一管理的 过程，是一个渐进的过程，只要有新的、不同的数据产生，就不断有数据集成的步聚执行。 企业有了五年、八年的信息化发展，凌乱、重复、歧义的数据接踵而至，数据集成的空间与 需求日渐迫切，企业需要一个主数据管理(Master Data Manager)系统来统一企业的产品信 息、客户信息；企业需要一个数据仓库(Data Warehouse)系统来提高领导层的决策意识， 加快市场战略调整行动；企业需要一个数据中心(Data Center)系统来集中交换、分发、调 度、管理企业基础数据。数据集成的必要性、迫切性不言而喻，不断被推至企业信息化战略规划的首要位置。要 实现企

3、业数据集成的应用，不光要考虑企业急需集成的数据范围，还要从长远发展考虑数据 集成的架构、能力和技术等方面内容。从数据集成应用的系统部署、业务范围、实施成熟性 看主要可分三种架构。一种是单个系统数据集成架构、一种是企业统一数据集成架构、一种 是机构之间数据集成架构。单个系统数据集成架构，是国内目前大兴土木所采用的架构，主要是以数据仓库系统为 代表提供服务而兴建的数据集成平台，面向企业内部如ERP、财务、OA等多各业务操作系 统，集成企业所有基础明细数据，转换成统一标准，按星型结构存储，面向市场经营分析、 客户行为分析等多个特有主题进行商务智能体现。这种单个系统数据集成应用架构的主要特 点是多对一

4、的架构、复杂的转换条件、TB级的数据量处理与加载，数据存储结构特殊，星 型结构、多维立方体并存，数据加载层级清晰。财务重成平台(JA数钢仓库业子文档单令系统数据集成应用企业统一数据集成架构，组织结构较复杂的大型企业、政府机构尤为偏爱这种数据集成 的架构，因此类单位具有业务结构相对独立、数据权力尤为敏感、数据接口复杂繁多等特征， 更需要多个部门一起协商来建立一个统一的数据中心平台，来解决部门之间频繁的数据交换 的需求。如金融机构、电信企业，公安、税务等政府机构，业务独立、层级管理的组织结构 决定了内部数据交互的复杂性。概括来说此类应用属于多对多的架构、数据交换频繁、要有 独立的数据交换存储池、数

5、据接口与数据类型繁多等特点。对于企业管理性、决策性较强的信息系统如主数据管理系统、财务会计管理系统、数据 仓库系统等数据可直接来源于数据中心，摆脱了没有企业数据中心前的一对多交叉的困扰， 避免了业务系统对应多种管理系统时需要数据重复传送，如CR M系统中新增一条客户信息数 据后，直接发送到企业数据中心，由企业数据中心面向风险管理系统、数据仓库系统、主数 据管理系统进行分发即可。业务系统管理会讣国际结算信用卡电子表格数据集成乎台数据中心凤险管理数据仓库41倍贷系统企业统一数九集成应用机构之间数据集成架构，这种架构多是应用于跨企业、跨机构、多个单位围绕某项或几 项业务进行的业务活动，或由一个第三方

6、机构来进行协调这些企业、机构之间的数据交换、 制定统一数据标准，从而形成一个多机构之间的数据集成平台。如中国银联与各商业银行之 间的应用案例、各市政府信息中心与市政府各机关单位之间的应用案例、外贸EDI (海关、 检验检疫局、外汇局、银行、保险、运输等)、BTOB电子商务平台等。这类应用属于跨多 企业、单位多对多的架构，具有数据网络复杂、数据安全性要求高、数据交换实时性强等特 点。尤其这类架构颇具一些特点值得进一步去剖析。因数据集成平台是架于多企业、单位之 间，数据的安全性、独立性决定了各企业、单位不得不考虑前置机的部署形式，各企业、单 位在业务系统与数据集成平台之间增加一台前置机，则更有利于

7、自有系统数据的独立与安 全，也更利于数据平台对数据的获取、分发、交换的统一要求。另外，数据集成平台也要具 有更多的技术功能来满足众多单位的众多数据接口、多种数据类型、不一致的数据标准、数 据交换的实时性、对数据的抽取与推送(Pull AND Push)等业务需求。如数据集成平台需 具有数据连通、ETL、数据实时、数据清洗、数据质量、EBS(Enterprise Service Bus)、SOA(Service-Orien ted Archi tec tude 等一些技术与特点。电子歧务网络革础艮施XMLUrastructuri&di Dnts iMairriTaime.人书局劳社局AppllM

8、rre DWOh吕卒吕 MessagesFlatfiles-公交局工商局較据集成平台基础市W時EIrdiM： TfdifiiJllfc L血也1RxkTImeDMn CkaDdiuServer (JridPfirtilionlliy;ti Avuil9lii9oty.毁啜粥嵐口罪务耳它間l)l Pifiliop|yj Flcrjnn-,.拭构之问赶空集咸应用以上三种数据集成架构，一种是对应于某一个应用系统的多对一架构，一种是完成企业 内部众多系统之间数据交换的多对多架构，一种是为多个跨企业、单位机构实现某一项或几 项业务活动而建立的多对多架构，数据集成的应用差不多都是基于这三种架构，每种架构可

9、 能会对应于多种数据集成的应用。国内企业常见的数据集成应用有数据仓库、数据同步、数 据交换，随着企业并购、新旧系统升级、分布系统向数据大集中看齐、电子商务的发展、多 个企业单位协同作业等等众多业务需求的诞生，数据集成的应用开始纷繁异景起来。目前大部分数据集成软件厂商都是围绕数据仓库(Data Warehousing)、数据迁移(Data Migration)、数据合并(Data Consolidation)、数据同步(Data Synchronization)、数据交换(Data Hubs或者叫主数据管理：Master Data Management)这5种常见的企业应用形式来发展各自 的产品

10、技术。数据仓库(DataWarehousing)应用:数据仓库的发展在国内差不多有近10 个年头，数据仓库中的数据集成应用主要是围绕ETL 的功能来实现，一般来说其主要功能是将多个业务系统不同种数据类型的数据抽取到数据仓库的ODS (Operational Data Store)层，经过转换，加载存储到星型结构的DW (Data Warehouse )层，为满足不同主题的展现应用，再向关系型数据库或多维数据库进一步汇总 加载，其 ETL 功能可由手工编程或专业工具软件这两种类型来实现。第一种类型：由手工编程到专项ETL工具的应用，这种应用类型是成熟的数据集成软 件工具的雏形，是为快速达成项目功

11、能需求为主，满足复杂的业务处理的需要，以ETL为 核心应用，开发技术也发挥得淋漓尽致，PB、JAVA、SQL、存储过程、C/C+都可能会悉 数登场，多一种系统的数据集成就可能会多于一倍的开发工作量，使数据集成平台更趋于复 杂、脆弱。另外，如电信、金融、税务、公安等行业的众多系统集成商针对各自的业务系统 也开发有专项的数据集成工具，只是有一定的局限性，拘泥于某一种应用或某一特定的系统 环境。第二种类型：众多成熟的数据集成软件工具 的应用为这一代表，如 Informatica PowerCenter、IBM Datastage、Oracle ODI、Microsoft SISS 等，集各种数据接口

12、、ETL、数 据质量、实时、数据联邦、分区并行、网格、HA等技术于一身，历练世界众多客户需求多 时，具有更宽广的应用、可扩展性强、安全稳定等一些特点。数据迁移(Data Migration)应用:这种应用比较容易理解，对于新旧系统升级、数据大集中时的数据作迁移，使数据更能顺应新系统的结构变化而平稳迁移。合并、其它业务系统的合并，当系统需要合并必然产生数据的合并，因此对企业数据进行统一标准化、规范化、数据的补缺、数据的一致性都将导致数据合并。数据同步(Data Synchronization)应用:当企业一个系统的业务活动会影响其它多个系统的进程时，对数据的实时性、准确性就尤显重要。如航空公司与

13、航空机场之间的数据同步应用、证券交易所与证券公司之间的股票 信息同步、金融业的汇率信息同步等等，影响数据同步的实时性与可靠性的因素会有网络的 连通性、传输效率、数据接口、数据格式等，这些诸多因素都属于数据集成中的数据同步要 解决的问题。数据交换(Data Hubs)应用:或者叫主数据管理(Master Data Management)应用，这种数据集成的应用越来越受 企业的重视。一般构成企业主要的基础数据分别是客户数据、产品数据、员工信息数据、供 应商数据，要从企业多个系统中快速、可靠地建立唯一、完整的企业主数据视图这就是主数 据管理。要实现企业主数据管理应用的数据集成平台，必须具备有良好的数

14、据连通性、良好 的数据质量探查与分析、良好的数据转换能力等特点。文中上述提到跨多个企业、单位机构 的架构就是一个典型的主数据管理应用，如公安局、工商局、税务局、人事局、劳动社保局 等这些众多政府机构主要是围绕2 个基本主体进行各项事务活动，一个主体是个人，另外一 个主体是企业单位，而众多政府机构对这2个主体的信息数据要求重点不同、数据处理顺序 有先后，数据变更有各异，数据交换复杂、频繁，而最理想的境界是这2 个主体数据能做到 最大程度的同步，这就是主数据管理的思想。以上五种数据集成应用解决方案在国内最常见的首当其冲的是数据仓库的应用，最复杂 的应用应该是数据交换了，不管是简单还是复杂的应用都以

15、ETL技术为基础，ETL技术成 为了数据集成的核心技术，伴随ETL技术的还有数据连通、数据质量、数据清洗、数据联 邦、Real-Time、数据探查等技术，为了提高数据集成的安全性、高效性、可扩展能力，还 有 SOA、 HA、 GRID 等相关技术作为支撑。ETL (Extract、Transform、Load)：数据集成视数据抽取、转换和加载为最基础、最 核心的三项技术，这三个执行步骤可根据系统环境特点进行调整顺序，典型的应用有 ELT 的顺序。如源与目标为同种数据库、或共用一个数据库时，可将数据从源直接抽取到目标然 后再进行转换，效率会大有提高，专注此类特点的产品以Oracle的ODI为代表。数据连通(Data Connective)：良好的数据连通性是数据集成的能力体现，一般通用的 关系型数据库、 ODBC、 XML 等数据连通类型为常见类型，还有一些就是大中型企业常用 的 ERP、 CRM、 BPM 、OA 等应用软件为封闭式的系统，如 SAP、Seibel 、 Lotus 等系统的 连通，因此良好的数据集成平台需要提供来自更多企业的数据连通接口，抽取源与装载目标 的范围也就更广阔。数据质量(Data Quality)：数据质量越来越被企业重视，数据质量的技术范围也越发宽 广，开始慢慢被剥离出数据集成的范畴。企业不能根据标准不统一、歧义、不正确的数据快 速做出决策