《电子政务中的数据资源整合》由会员分享，可在线阅读，更多相关《电子政务中的数据资源整合（3页珍藏版）》请在金锄头文库上搜索。
1、计算机科学2 0 0 2 V 0 1 2 9 N o _ 8 ( 增刊)电子政务中的数据资源整合D a t aS o u r c eI n t e g r a t i o ni nE l e c t r o n i cG o v e r n m e n tA f f a i rP r o j e c t吴永英彭峰( 华中科技大学数据库与多媒体技术研究所武汉4 3 0 0 7 4 )A b s t r a c tB u i l d i n ge l e c t r o n i cn e t w o r kg o v e r n m e n ta n dp r o m o t i n gt h e
2、d e v e l o p m e n to ft h ee l e c t r o n i cg o v e r n m e n ta f f a i ri saw o r l dt i d e ，a sw e l la san e c e s s a r yt i d eo fa p p l y i n ge l e c t r o na n di n f o r m a r i o nt e c h n o l o g yt ot h eg o v e r n m e n tm a n a g e m e n t T h i sp a p e rg i v e st h ed e s i
3、 g na n di m p l e m e n to ft h ed a t as o u r c ei n t e g r a t i o ns u b s y s t e mi ne l e c t r o n i cg o v e r n m e n ta f f a i rp r o j e c t ，w h i c hi sb a s e do nn a t i o n a ld a t a b a s ep l a t f o r mD M3 K e y w o r d sE l e c t r o n i cg o v e r n m e n ta f f a i r ，D a
4、 t as o u r c ei n t e g r a t i o n ，D a t at r a n s f o r m a t i o n ，O D B C1引言2 0 世纪9 0 年代以来，伴随着信息技术、特别是网络技术的飞速发展，信息化成为各国普遍关注的一个焦点。在国家信息化体系建设中，政府信息化又成为整个信息化中的关键。建立电子网络政府，推动电子政务的发展，是一种世界性潮流，也是电子信息技 术应用到政府管理的必然趋势。科技部电子政务项目的实施就是一个典型。根据科技部电子政务应用系统的需求，我们承担综合数据支撑平台的开发，其中的基础性工作是对现存的各种数据资源进行整合 1 。科技部现
5、有数据库资源分布在多个数据库服务 器上。目前各个部门都在按照自己的规划建设自己的数据库资源信息库，所以数据库管理系统呈现多平台的特点。使用也没有统一的规划，同时也存在着严重的重复建设，不同部门因为数据库资源没有统一的规划，而不能实现相互利用，存在着巨大的浪费。因此，必须进行数据资源整合，使分散的数据库资源变为集中的资源信息库，以实现资源共享，充分发挥数据库资源的作用。2 总体方案为了实现数据资源整合，我们采用基于国产安全关系数据库管理系统D M 3 c z 组建中心资源数据库的方式，各个司局可以通过我们的数据转换系统 将愿意共享的数据资源迁移到中心资源数据库 D M 3 中。我们需要转换的数据
6、资源主要来自L o t u sN o t e s 文档数据库和其它关系数据库。对于N o t e s 文档数据库，我们准备通过在文档 库中写转换代理程序的方式将N o t e s 文档向D M 3 转换。采用此方式主要是因为存取N o t e s 文档数据不能脱离D o m i n o N o t e s 系统，并且只能使用L o t u s提供的A P I 操纵N o t e s 文档数据。 对于关系数据库，我们通过一个基于O D B C 的 通用数据转换工具，实现任意两个关系数据库的数据迁移。5N o t e s 文档数据库向D M 5 数据库的转换5 1L o t u sN o t e
7、s 简介L o t u sN o t e s 是一个面向对象的文档数据库系统，最基本的组成单元是文档，可以将其视为一条数 据库记录或一个W e b 页面。N o t e s 文档的结构是由表单( f o r m ) 控制的。一个文档包含若干个域( f i e l d ) ， 这里的域相当于关系数据库中的字段。N o t e s 文档可以同时包含结构化与非结构化信息。N o t e s 由于 采取了文档模型。因而在非结构化信息处理方面拥有强大的能力。L o t u sN o t e s 支持的主要语言包括公式语言、L o t u sS c r i p t 语言和J a v a 语言。我们通过使用
8、L o t u s S c r i p t D a t a O b j e c t ( L S ：D 0 ，支持O D B C 2 0 以上标准) 可以将D o m i n o 与外部关系数据库连接，使用类N o t e s S e s s i o n ，N o t e s D a t a b a s e ，N o t e s D o c u m e n t C o l l e c t i o n ，N o t e s D o c u m e n t 对N o t e s 文档中的数据进行操作 3 。5 2 实现方案我们采用的方案是：查看表单的定义，每个表单域可对应一个关系表的字段，这样就可以
9、对照表单定义而定义关系表结构，一个表单对应一个关系表。* ) 本研究得到国家科技攻关计划项目“科技部科技电子政务系统关键技术及应用系统的研究”( 项目编号2 0 0 l B A l l O B 0 1 ) 的资助吴永荚别教授。研究方向为数据库与信息系统彭峰硕士研究生，研究方向为数据库与信息系统1 3 0 如果我们把N o t e s 文档数据库当作关系数据库的 话，那么N o t e s 文档就是所有关系表中元组的集合， 于是N o t e s 文档库向关系数据库的转换工作就可以 按照以下方法进行：在所有N o t e s 文档中定位和某 一指定关系表匹配的那个N o t e s 文档，然后利
10、用 L o t u s 和O D B C 的接口，将N o t e s 文档中域值写入 对应的关系表的对应字段中。定位方法就是查看 N o t e s 文档所属表单是否和用于定义指定关系表的 表单相同( 一个N o t e s 文档数据库中可能包含盔个 表单) 。一个表单中的域的类型和D M 3 中的类型对应关系如表1 所示。表1N o t e s 文档数据库中表单域和D M 3 数据库中字段的类型匹配表表单中的域的数据类型对应D M 3 中的数据类型文本V a r c h a r 或者t e x t时间日期T i m e s t a m p 或者d a t e数字I n t e g e r
11、或者f l o a t 对话框列表、复合框、列表v a r c h a r 框、组合框、作者、姓名、读者 R T F 文本T e x t转换步骤为：先分析库中的表单，按照上表的匹 配规则，定义关系表，然后在需要转换的N o t e s 文档库中写一个代理程序，从文档集中选择和关系表匹配的文档，逐个将文档数据转换至关系表中。转换的代理程序如下( 用L o t u s S c r i p t 表示，为方便起见，程 序中省略了一些类型定义，使用类名表示对象名，实际代码中所用到的类都需要实例化) ：S u bI n i t i a l i z e O D B C C o n n e c t i o n
12、 C o n n e c t T o ( ”D S N ”) O D B C Q u e r y S Q L 一”S E L E C T * F R O MT a b l e N a m e ” 0 D B C R e s u l t S e t E x e c u t e S e tn o t e s d o c u m e n t = n o t e s d o c u m e n t c o l l e c t i o n g e t f i r s t d o c u m e n tW h i l eN o t ( n o t e s d o c u m e mI sN o t h i
13、 n g ) I f ( n o t e s d o c u m e n t F o r m ( O ) = ”F o r m N a m e ”) T h e n O D B C R e s u l t S e t A d d R o w C a l l0 D B C R e s u l t S e t s e t V a l u e ( ”T a b l e F i e l d N a m e “ ，n o t e s d o c u m e n t F i e l d N a m e ( 0 ) ) 以下同上，直到关系表的每个字段都被赋 值 o D B C R e s u l t S e
14、 t U p d a t e R o w E n dI f S e tn o t e s d o c u m e n t 一 s e s s i o n c u r r e n t d a t a b a s e a l l d o c u m e n t s g e t n e x t d o c u m e n t ( n o t e s d o c u m e n t ) W e n d 0 D B C R e s u l t S e t C l o s e ( D B C L O S E ) O D B C C o n n e c t i o n D i s c o n n e c t
15、 E n dS u b4 关系数据库向D M 3 数据库的转换4 1问题分析 ( 1 ) 数据处于地理位置不同( 位于科技部各个不同司局，处于科技部局域网的同一或不同网段) ，采 用的数据库平台不同( 有D M 3 、S Q LS e r v e r7 0 、S y b a s e 、F o x p r o 等共存) ，操作系统平台不同( D M 3 运行于L i n u x 上，其它则运行在W i n d o w sN T 平台 上) ，数据存储格式自然是千差万别，我们不可能为 每一组转换而单独写转换程序，因为这样不仅任务量巨大，而且没有可扩展性，程序维护起来也困难，用户使用也不方便。( 2
16、 ) 数据转换中最复杂的是数据类型的匹配。当 把一个源数据库中的关系表复制到目标数据库中时，首先需要读取源表的元数据，例如表名、字段名、字段类型名、字段长度，还要解决的是如何在我们的程序中表示这些元数据，特别是数据类型的表示。因 为各个数据库厂商对标准S Q L 的支持程度不同，可能扩展了一些特有的数据类型，我们需要采用一种 逻辑上一致的数据类型表示法。我们还耍弄清楚逻辑上一致的数据类型表示到特定数据库数据类型表 示的映射关系，以及如何在目标数据库中找到一种和源数据类型最接近的数据类型。( 3 ) 数据转换工具需要方便用户的使用。使用数 据转换工具的用户可能缺乏对数据库较多的认识，并且用户的要求绝对不仅仅是将源数据简单地拷贝 到目标数据库中就行了，可能还需要一些更加复杂的功能，如增量式的更新功能等等。因此，数据转换工具既需要具备足够强大的功能，同时友好的用户 界面也是必不可少的，便捷高效的操作步骤也是提高数据迁移效率的一个重要因素。 4 2 实现方案 我们采用基于O D
