《数据集成与网格关于数据网格的组织结构问题》由会员分享，可在线阅读，更多相关《数据集成与网格关于数据网格的组织结构问题（20页珍藏版）》请在金锄头文库上搜索。
1、数据集成与网格关于数据网格的组织结构问题Stillwatersrundeep.流静水深流静水深,人静心深人静心深Wherethereislife,thereishope。有生命必有希望。有生命必有希望n数据集成与网格数据集成与网格n关于数据网格的组织结构问题关于数据网格的组织结构问题n网格与数据网格网格与数据网格 网格网格: :支持资源集成与共享，它通过互联网将跨越地域和组织分布的支持资源集成与共享，它通过互联网将跨越地域和组织分布的 计算机系统、数据库、仪器设备等各种资源有机地集成为一体，以实现广计算机系统、数据库、仪器设备等各种资源有机地集成为一体，以实现广域范围的共享。域范围的共享。 数
2、据网格数据网格: :支持跨越地域和组织分布的数据集成与共享。支持跨越地域和组织分布的数据集成与共享。 数据本身是最重要的共享资源数据本身是最重要的共享资源. . 数据网格的建立是实现网格计算的基础和复杂度极高的工作内容。数据网格的建立是实现网格计算的基础和复杂度极高的工作内容。一、数据集成与网格一、数据集成与网格 Michael D. Stefano:Distribution Data Management For Grid Computing 一、数据集成与网格一、数据集成与网格一、数据集成与网格一、数据集成与网格n数据集成数据集成 实现多信息源共享，使得任何信息源产生的数据可以被其他信息处
3、理实现多信息源共享，使得任何信息源产生的数据可以被其他信息处理系统有效利用。系统有效利用。 多种集成方式多种集成方式:多数据库多数据库(multi-database),(multi-database),联邦数据库联邦数据库(federated (federated database),database),数据中介系统（数据中介系统（mediatormediator）, ,数据仓库数据仓库(data warehouse).(data warehouse). 不同数据集藏类型不同数据集藏类型: :传统的数据集成研究主要考虑由通用传统的数据集成研究主要考虑由通用DBMSDBMS管理的管理的结构化数据
4、库（如关系数据库，对象结构化数据库（如关系数据库，对象- -关系数据库等），关系数据库等），目前已经扩展到目前已经扩展到考虑以其他组织形式存在的各种信息资源的集成，如文件系统、网站、文考虑以其他组织形式存在的各种信息资源的集成，如文件系统、网站、文档管理系统和科学数据库等。档管理系统和科学数据库等。一、数据集成与网格一、数据集成与网格n分布式数据库与异质多数据库分布式数据库与异质多数据库统一的全局概念模式，完全的透明访问与全局完整性控制。统一的全局概念模式，完全的透明访问与全局完整性控制。 一、数据集成与网格一、数据集成与网格n联邦数据库联邦数据库 通过模式翻译与联通过模式翻译与联合实现在各信
5、息源之间合实现在各信息源之间按对等方式（按对等方式（peer to peer）进行无缝互访）进行无缝互访一、数据集成与网格一、数据集成与网格n数据中介系统数据中介系统 通通过过模模式式集集成成支支持持一一个个虚虚拟拟数数据据库库以以提提供供对对多多数数据据源源集集成成数数据据的的透明访问。透明访问。一、数据集成与网格一、数据集成与网格n数据汇集数据汇集 来自多个数据源的数据被来自多个数据源的数据被归并物理地存储在一个系统中，归并物理地存储在一个系统中，称之为数据仓库。为使数据仓称之为数据仓库。为使数据仓库内容与信息源按照某种相容库内容与信息源按照某种相容性要求保持一致，数据仓库必性要求保持一致
6、，数据仓库必须按照适当的方式进行更新，须按照适当的方式进行更新，称之数据仓库维护。称之数据仓库维护。n异构性问题异构性问题 结构冲突结构冲突 同类的信息内容存在于具有不同组织形式的数据集同类的信息内容存在于具有不同组织形式的数据集藏之中藏之中. . 模式翻译模式翻译:XML:XML支持以统一的半结构化数据模型相容地观察这支持以统一的半结构化数据模型相容地观察这些不同性质的数据存储实体。些不同性质的数据存储实体。 同构化处理同构化处理: :即使不同的数据集藏使用相同的信息表示方法即使不同的数据集藏使用相同的信息表示方法( (数数据模型据模型),),相同的信息可能被作了不同结构化处理相同的信息可能
7、被作了不同结构化处理. . 一、数据集成与网格一、数据集成与网格一、数据集成与网格一、数据集成与网格 语义冲突语义冲突 不同数据集藏之间可能在两个层面上发生语义冲突不同数据集藏之间可能在两个层面上发生语义冲突. . 数据层面数据层面: :相同数据可能具有不同的表示和解释相同数据可能具有不同的表示和解释. . 模式层面模式层面: :同类信息对象的表示可能使用不同逻辑结构同类信息对象的表示可能使用不同逻辑结构 能有效表现概念层次结构和语义模型的本体被广泛运用于解决信息能有效表现概念层次结构和语义模型的本体被广泛运用于解决信息集成中的语义冲突问题集成中的语义冲突问题. . n跨组织信息集成问题：跨组
8、织信息集成问题： 安全互操作性问题安全互操作性问题: 不同组织信息系统间良好互操作性与内部信息安全性不同组织信息系统间良好互操作性与内部信息安全性之间的冲突消解。信任管理与内部结构隐蔽之间的冲突消解。信任管理与内部结构隐蔽 资资源源独独立立性性: 保保护护遗遗产产，并并使使得得信信息息源源自自主主进进行行的的增增量量扩扩充充与与调调整整不不造造成成对集成平台的影响。对集成平台的影响。 协协同同开开销销最最小小: 信信息息源源为为提提供供组组织织外外互互操操作作性性在在改改造造扩扩充充自自身身系系统统或或抽抽取取与传送信息方面所需消耗的资源（其中包括人力与财力）尽可能小与传送信息方面所需消耗的资
9、源（其中包括人力与财力）尽可能小 一、数据集成与网格一、数据集成与网格n信息源在包装层支持如下两个抽象层面：信息源在包装层支持如下两个抽象层面： 资资源源视视图图层层：作作为为可可用用信信息息源源的的外外部部抽抽象象观观察察，起起到到隔隔离离内内部部组组织织结结构构的作用，并提供数据集成平台的高度资源独立性。的作用，并提供数据集成平台的高度资源独立性。 应应用用视视图图层层：建建立立在在资资源源视视图图之之上上，用用以以表表示示外外部部应应用用（或或应应用用集集合合）对对于于给给定定信信息息源源的的信信息息提提取取需需求求，使使得得信信息息源源可可以以独独立立于于外外部部应应用用统统一一地地提
10、提供供可可互互操操作作信信息息的的同同时时，让让外外部部应应用用可可以以按按自自身身需需要要向向信信息息源源定定义义面面向向应用的个性化数据服务。应用的个性化数据服务。一、数据集成与网格一、数据集成与网格一、数据集成与网格一、数据集成与网格例例:试用于政务应用中的跨组织数据传播与汇集系统试用于政务应用中的跨组织数据传播与汇集系统 数据网格系统数据网格系统: : 提供一个可跨越组织和地域分布动态地按各种形提供一个可跨越组织和地域分布动态地按各种形式实现数据集成的平台，在组织结构上式实现数据集成的平台，在组织结构上, ,这样一个平台可以分为两这样一个平台可以分为两个层面构造个层面构造. .n资源获
11、取与系统互操作性平面资源获取与系统互操作性平面: :提供网格环境下数据访问与集成的提供网格环境下数据访问与集成的基础设施。基础设施。n高级集成形式支撑层面高级集成形式支撑层面:支持数据联邦、数据中介支持数据联邦、数据中介、数据汇集等高数据汇集等高级数据集成形式的实现级数据集成形式的实现. .二、关于数据网格的组织结构问题二、关于数据网格的组织结构问题二、关于数据网格的组织结构问题二、关于数据网格的组织结构问题n资源获取与系统互操作性平台资源获取与系统互操作性平台 提供网格环境下数据访问与集成所需基础设施的大部分功能特性已经由网提供网格环境下数据访问与集成所需基础设施的大部分功能特性已经由网格中
12、间件格中间件OGSA-DAI所提供，其目的包括：所提供，其目的包括： n 允许各种数据集藏结合到允许各种数据集藏结合到OGSA框架之中，并通过标准的网格服务接口进框架之中，并通过标准的网格服务接口进行访问。行访问。n 以统一的方式访问差异显著的异质数据资源。以统一的方式访问差异显著的异质数据资源。n 支持数据资源注册与发现、以及不同数据集藏系统之间进行互访。支持数据资源注册与发现、以及不同数据集藏系统之间进行互访。二、关于数据网格的组织结构问题二、关于数据网格的组织结构问题nOGSA-DAI支持的对等初等数据网格支持的对等初等数据网格 考虑到以及跨组织集考虑到以及跨组织集成的壁垒问题以及对各种
13、成的壁垒问题以及对各种高级集成方式的实现支持，高级集成方式的实现支持，我们需要我们需要:对各信息源提供适当的对各信息源提供适当的数据包装机制和完备的服数据包装机制和完备的服务功能。务功能。 扩展扩展EIIEII实现技术以适实现技术以适配网格计算环境的高层集配网格计算环境的高层集成方式成方式. .二、关于数据网格的组织结构问题二、关于数据网格的组织结构问题n资源节点提供的服务与接口资源节点提供的服务与接口n 帐户及访问权限管理帐户及访问权限管理n 元数据服务元数据服务n 查询服务查询服务n 应用视图监视代理服务应用视图监视代理服务: :提供提供 持续信息支持持续信息支持n 块加载服务块加载服务(
14、数据上传数据上传)n 资源调度及事务协调服务资源调度及事务协调服务n数据传播与汇集服务数据传播与汇集服务: 通过视图复制通过视图复制、多源视图维护及多视图多源视图维护及多视图一致性维护等技术有效地实现不同组织间的快速更新传播及数一致性维护等技术有效地实现不同组织间的快速更新传播及数据汇集据汇集.n 数据联邦数据联邦/中介服务中介服务:可更新虚拟视图支持可更新虚拟视图支持.n级联更新传播支持级联更新传播支持:由虚拟的集成数据库提供的应用视图持续由虚拟的集成数据库提供的应用视图持续信息支持。信息支持。二、关于数据网格的组织结构问题二、关于数据网格的组织结构问题n联邦、中介、汇集等集成方式的实现联邦、中介、汇集等集成方式的实现谢 谢!
