《一种基于esb数据提取转换方法的分析》由会员分享，可在线阅读，更多相关《一种基于esb数据提取转换方法的分析（3页珍藏版）》请在金锄头文库上搜索。
1、一种基于E S B 数据提取转换方法的分析 王铜石丽梅，武兴悦 自# 自I 日镕十o ，自t 自W 镕0 1 0 0 5 I 摘要：E s B 是传中月件技术与x M L 、w “服务苷技术镕合，t * 为是构筑n 信息系统的* i 亲是将来 信息系统空i 的连接中枢。女中舟g r l 种d O 眦k E s B 产8 $ 行敷镕抽取转换的方，目# TE 船相关技术的内部 I 作m 制a 目d 与* 坑数据* # # 方* 的性艟较，明在数 化校目的信息系缝构建中，9 【) A * 计架自、E S B 女n 蠛，并非但是概2 、难f 月m 是女实自教可月。 关蕾调：s 0 A E s B ；数
2、据整合 中目法* 羹号：T 鄂9 3文献格嘏码：A文章垃号：1 6 5 i w ( 2 0 0 8 ) 0 5 0 3 1 0 3 从s ( ) A ( 面向服务的体系结构) 概念的提出。副近 年来s 0 A 相关标准与技术的日趋成熟，市场对s o A 的需求日断旺盛S ( ) A 逐渐成为软件产业的主流方向。 但用户却对s 0 A 反应冷淡，这里面风险大、投入高是 s 0 A 遭玲遇的首要原因；其次，为支持异掏平台的数据 交换。s 0 A 主要实现技术之一w e bS e 采用x M L 标准在系统间传输散据这个过程中要附带大量重复 的数据标签信息，引发用户对w e b 服务性能问题的担 心
3、。而E s B ( E n t e m r I s es e 雠B 吣，企业服务总线) 的 出现，可以让用户实现一种廉价的、基于标准的w e b 服务编排工具井在此之上构建健壮的s 0 A 应用。 E s B 是由中间件拄术实现并支持s 0 A 的一组基础架 构支持异构环境中的服务、消息以及基于事件的交 互，并且具有适当的服务级别和可管理性“。本文以 数字化校园等信息系统中具有代表性的数据抽取整台 为需求背景，从1 个利用E s B 进行数据抽取转换的实 际倒子人手。来分析s ( ) A 相关主要技术运作机稿，同 时考查E s B 的性能是否适用。 1 用E S B 完成数据抽取转换 实例背景
4、源数据库表s 1 0 为已有应用系统的学 生信息表实验字段有x u e H a 。( 学号) 、x l n g M ( 姓名) 、 N - a m ( 年龄) 、啦B ( 性别) ，目的数据库表是校园中后 建立的公共数据库学生信息表o ”1 1 0 ，实验字段为I D 、 N m A g e 、G e n 如r ，其字段名与源表不同，但含义一 致。这里值得注意的是，在源表s 1 0 和目的表o K l l 0 中 性别属性的取值代码标准不同源表中男女使用字符 m 、f 表示，目的表使用国标l 、2 来表示。实验 目的是将源表中的数据提取转换输入目的表，同时要 * 日：2 0 0 8 m 82
5、0 ；# 日日：2 1 0 * # m n ( 1 9 7 1 ) $ w # 。En 叫w g d u c n 做不同标准代码的转换，这符合在信息系统建设历程 中，抽取不同已有系统数据至公共数据库的需求背景。 测试环境服务器硬件配置为：H PD L 3 8 0 G 5 c P u5 1 3 0 2 20 G k ，2 G 内存安装有。让d 批b 耻1 02 01 O n c l es o A 套件1 0131 ，开发工具为【) “ c kJ I ) e 垤I o D e r l o l32 。 m j S 回- _ 目1E s B 数* * R # 搂目 lP 删I “h 柚t 1 b a
6、刊E s B 在利用o M c l eJ D e 垤k p e r 创建E s B 项目之前，首 先确保鲫 套件已启动然后在项目的c 。n n e c t 标签中建立好与A p p l i a t i o nS e I n t e g r a t l o ns e D a t a h s eS e r “ r 的连接，做好基础工作，以便后面能够 利用E S B 平台及敦据库服务器。接下来，使用O m c k J D e v 如畔r 中内嵌的数据库适配器( D a t a b a s ea d a p t e r ) 向导建立2 个数据接口l “。l 十用于连接源表s 1 0 。 以提取s 1
7、0 表中的源数据；另一个用于目的表o r c 【1 0 ， 以实现将结果数据插入到o r c l l 0 表中。同时，为了解 决( X u e H a o I D ) ，( X 1 啦M N a m e ) ，( N 加l A 薛】，( n 曲 G e n d e r ) 4 对唇性的对应关 系和数据传辖路由在E s B 项目中添加R o u “n zS e r - 一( 路由服务) 组件，在其中设置4 对属性的映射关系 和数据路由规则。为解决源表和目的表中性别代码标 准不一问胚，在性别字段映射关系中掭加E s B 支持的 x P A T H 内嵌T m 舾b t e ( ) 函散米实现转换。
8、最后，将建 中国海洋大学学报 立好的E S B 项目( 见图1 ) 注册到I n t e g r a t i o ns e r v e r 中， 看到“注册成功”的提示报告后，即可转至E S B 控制台 查看成功部署后的服务了。 2 结构剖析 生成的E S B 工程主要包括2 类文件。一类是工程 相关的说明文件，主要作用是描述E S B 工程的信息，结 构，构件，服务等内容，扩展名有e s b ，鹤b s y S ，e s b g r p ， e s p s v c 等，仅在设计时使用；另外一类文件在工程设计 和运行时都起作用，包括服务描述文件( w S d l ) ，数据 适配器映射文件(
9、m 1 ) ，珊l 数据结构定义文件 ( x s d ) ，数据转换映射文件( x S l ) ，这些文件是服务的 元数据，它们是整个工程的核心，所有服务的运行依赖 于这些文件的互相协作。图2 是根据生成文件绘制的 W S D L 服务框图。 图2 数据抽取转换w S D L 框架 F i g 2W S D Lf r a m e 、I l 耐ko fd a t atr a 】鹪f o l 期a t i o n 从图2 中可以看出，实验建立的E S B 工程中包含 2 个服务，1 个是从源数据库接收数据的服务；另一个 是向目标数据库插入数据的服务，其间由E S B 完成数 据路由转换。( 插入数
10、据服务w S D L 框架图与接收数 据的类似，不再详细绘出。) 在接收数据服务中主要包括3 个模块：右边是总 体服务描述模块，定义了使用S o 奸和E S B 访问服务 的具体描述；左上是子服务模块，由文件i n D B w s d l 定义，包含使用J C A 适配器访问数据库的服务描述；左 下是数据类型定义i n D B t a b l e 】【s d ，其中定义了接收 数据服务的数据类型，这个数据类型由源数据表s 1 0 的结构对应生成( 即源表的X M Ls c h e m a ) 。运行时， 首先根据J C A 适配器的数据订阅间隔，采集数据形成 源端X M L 数据文件；其次，再
11、依据E s B 数据路由服务 生成的字段映射关系，由E s B 的x S L T 完成对应转换， 这包括字段名的对应和性别代码的转换，结果输出数 据为目的端儿数据文件( 数据类型为目的表儿 S c h e n 诅) ；最后，此文件再作为插入数据服务的输入。同样 利用J C A 适配器将数据发布至目的数据库。耐1 0 表。 通过以上内部结构分析可以看出，E S B 确实是符 合S O A 原则的有力基础架构，利用E S B 充当不同数 据、消息格式、网络协议服务之间的“黏合剂”。可轻松 实现异构系统间的数据抽取与转换。 3 性能分析 为了考查E S B 抽取转换数据方法的可用性，本文 采用3 种
12、方法完成源表数据到目的表数据的抽取转换 迁移，并对其性能进行测试和比较。实验时源数据库 和目的数据库放于同一服务器中，以屏蔽网络等其他 环境因素对测试结果产生的影响。 方法一传统的E T L 方法。编写J A v A 代码，使用 J D B C 驱动程序连接2 个数据库，从源库查询，获得结 果集，转换相应字段和值，插入目的表。 方法二数据库内建连接方法。直接使用S Q L 命令 语句在0 r a c l e 数据库内部完成，首先建立与远程数据 库的连接，然后使用c r e a t e 建表语句从源数据库抽取 所需字段的数据放至本地临时表，再对需要转换的字 段进行处理后插入到目的表【6J 。 方
13、法三 E s B 实现方法。即本文第l 部分介绍的E S B 工程项目，发布后自动完成数据的抽取与转换。 实验铺底数据分别有1 0 ，1 0 0 ，10 0 0 ，1 00 0 0 ， 2 00 0 0 ，4 00 0 0 条，实验从源表抽取数据开始计时，直至 完成对目的表的写入终止，统计所执行的时间。5 种铺 底数据，分别用3 种方法进行了多次重复实验，取其执 行时间的平均值作为实验结果，分析比较结果如图3 所示。 由图3 可以看到，使用传统酣几抽取方法在记录较 少的情况下速度快于E S B 方式，但当数据量增大时耗时 明显增大。该方法的优点是实现相对简单，便于对数据 进行各种操作，缺点是采
14、用紧耦合方式，不易与其他应 用衔接和扩展，需要编程实现，数据量大时效率低。 增刊 王钢，等：一种基于E S B 数据提取转换方法的分析3 3 记录条数鼬咄 + 代码插人 + 砷抽取 + 罐 接 图3 分析结果折线 F i g 3 B r o k e nl i n es h o 、I l ，i n gt h e 姐a l y s i s 饱；t l l t s 采用数据库内建连接方式抽取数据是速度最快 的，数据量大时效率也非常高，但这种方法耦合性更加 紧密，灵活性和适用性也很差，实现时需要掌握很多数 据库的管理知识。 E S B 方法在传输大数据量时速度优于传统E T L 方式，如实验中传送4
15、万条记录仅需2m i n 多，这对于 拥有4 万学生高校的应用环境还是可以接受的。此方 法虽然涉及的概念复杂，但实现也很简单、无需编程。 同时拥有了S O A 架构持有的松耦合、标准服务的优 点，具有很强的适应性和可扩展性。 4 结语 综上所述，实验中E S B 在数据整合方面所体现的 性能比较令人满意，且其具有的标准化和松耦合的特 性，能够灵活地适应于各种应用平台。这就说明，基于 S O A 架构实现应用并非遥不可及。它可以利用现有产 品来实现，即便对于一些相对较小的应用需求，利用 E S B 的实现也能体现出优越性。作为当今数字化校园 建设、应用系统建设的必要环节，数据整合和应用集成 是首
16、要面临的问题，通过本文的实验可知，S O A 架构思 想和E S B 能够很好的解决这些问题。 参考文献： 1 】梁爱虎S O A 思想、技术与系统集成应用详解【M 北京：电子工 业出版社，2 0 0 7 2 】1 1 m E d s 0 A 概念、技术和设计 M 北京：机械工业出版社， 2 0 0 6 3 O m c k o r a c l es 0 As m t eD e v e l o p e r sG I I i d e1 0 9 ( 1 0 1 3 1 O ) ： o L 】 2 0 0 6 0 9 h t t p ：d I r f I l o a d o r k r n d o c s c d B 3 1 0 1 7 一 O l c o M 1 0 1
