《数据库网格的数据迁移协议》由会员分享，可在线阅读，更多相关《数据库网格的数据迁移协议（3页珍藏版）》请在金锄头文库上搜索。
1、计算机科学2 0 0 4 V 0 1 3 1 1 0 ( 增刊) 数据库网格的数据迁移协议 D a t aM 1 9 r a t i o nP r o t o c o lf o rD a t a b a s eG r i d 吴校军昊朝晖陈华钧黄昶 ( 浙江大学计算机系网格计算实验室杭州3 1 0 0 2 7 ) A b s t r a c tAn e wd a t ar 1 1 i g a t i o np r o t o c o Ii sp r e s e n t e di nt h i sp a p e r ，w h i c hf o c u 8 e so nt h ed a t a b
2、 a s eg r i de n v i r o n m e n t T h i sp r o t o c o l i 3b a s e do nt h et r a d i t i o n a ld a t am i g r a t i o nc o n c e p t ，a p p e n d 5g r i dr e s o u r c e sp r e a r r a n g ep r o c e d u r e a n dm i g r a t i o np a r a m e t e rp r o c e d u r et oa d a p tt h ed y n a m i c a
3、 la n dh e t e r o g e 腿o u sc h r a c t e r so fd a t a b a s eg r i de f l v i r o n _ m e n t I nt h ep r o t o c o I ，m i g r a t i o ns e s s i o ns t a t e s ，m i g a t i o na c t i v i t ym o d e la n dm i g r a t i o ns e s s i o np r i m i t i v e sa r ea l s o 5 p e c i f i e da st h ep 8
4、r t so fd a t am i g r a t i o np r o t o c 0 1 Ap r o t o t y p ei ss h o w na sa ni m p I e m e n t a le x B m p l eo ft I I i sp r o t o c 0 1 K e y w o r d s D a t am i g r a t i o n ，G d d ，D a t a b a 8 e 1 引言2 数据库网格数据迁移协议 网格计算代表了薪一代面向I n t e m e t 的分布式 计算技术趋势，数据管理( 数据网格 1 3 ) 是网格技术 平台的一个重要组成部
5、分，而面向数据库资源的网 格数据管理( 数据库网格口3 ) 问题已成为其中的一个 焦点。数据库网格是一个面向网格的数据库资源管 理平台，旨在为实现现有大量位于I n t e r n e t 后台的 数据库资源的共享提供一个可接入的环境，为网格 应用提供基础结构级的数据库资源访问、发现、整合 等一系列问题的通用解央方案。数据库网格基于一 套数据库网格协议这些协议描述了数据库参与的 网格活动的交互时序，共同定义了网格环境下数据 库资源的共享规则。本文介绍的网格数据库数据迁 移协议就是其中的一个协议。 在数据库网格中，经常需要在各个数据库节点 之间进行数据的迁移。传统的数据库副本管理算法 无法适应网
6、格环境特点，主要表现在：1 ) 网格数据库 资源和网格传输资源都具有动态性的特点。2 ) 网格 数据库节点存在异构性。因此我们需要设计一套新 的面向数据库网格环境的数据迁移协议，适应数据 库网格的特点。 本数据库网格下的数据迁移协议针对数据库网 格的特殊环境，在已有的数据库迁移协议的基础上， 为了适应数据库网格动态性和异构性的特点，加入 了资源预分配过程和迁移参数协商过程，希望能够 在数据库网格的环境下，提供稳定的、高效的、通用 的数据迁移服务。 本文首先将具体介绍数据库网格下的数据迁移 协议工作过程、工作部件以及各部件之间的交互情 况，并且提供一套完整的控制原语。在这个基础上， 描述一个基于
7、O G s A 的G l o b u st 0 0 1 k i t3 o 2 1 的数 据迁移协议原型。 2 1 6 2 1 协议状态机 在数据库网格下的数据迁移包括迁移服务的建 立、迁移参数设定、迁移任务执行、迁移服务销毁四 个过程。与之对应，数据迁移活动存在起始、初始化、 就绪、运行和结束五个状态。迁移活动的五个过程和 五个状态的对应及转换关系如图1 所示。 迁移服务建立：在本过程中，主要完成迁移资源 的预分配及服务质量协商。所谓资源预分配，指数据 迁移活动根据迁移的需求获取相应的数据库网格资 源，包括数据源的数据库节点资源、数据迁移目标的 数据库节点资源、数据传输资源。在此基础上确认 这
8、些资源能提供的网格服务质量水平，即服务质量 协商。完成了建立迁移会话的过程之后，迁移会话进 入初始化状态。 迁移参数设定t 迁移会话中数据迁移参数包括 数据迁移中数据包装格式、使用的传输协议、迁移出 错后的重试次数、迁移数据块的大小等这些参数都 在迁移参数设定过程中完成。这些迁移参数需要在 迁移会话中源数据库节点和目标数据库节点之间协 商，保证双方都能支持迁移参数中规定的内容。在包 含节点A 和B 的数据迁移会话中，就只能选择节点 A 和节点B 共同支持的数据传输协议来进行数据 传输。 迁移任务执行过程：当迁移参数设定完成之后 可以进行迁移任务执行。用户可以提交若干个迁移 任务序列，迁移会话执
9、行用户提交的迁移任务。在此 一个迁移任务序列的执行过程中，迁移会话处于忙 状态，将不接受用户的其他请求。 迁移会话销毁过程：当所有的迁移任务执行完 毕后，用户可以销毁迁移会话。这时迁移会话首先评 估和记录迁移会话中的数据库网格资源提供的殷务 质量，作为下次资源选择的参考，然后释放这些资 源，整个迁移会话结束。 图1 迁移过程及迁移服务 2 2 迁移活动模型 迁移活动( D M ) 由迁移源( D M s ) 、迁移目标 ( D M T ) 、迁移控制器( D M c ) 三个部件组成，即D M = D M s ，D M T ，D M c ，如图2 ( 数据迁移角色交互 图) 所示。 1 迁移源
10、( D M s ) 部件是迁移数据的获取端，负 责从数据库网格节点中获取迁移数据，包装迁移数 据以及向迁移目标发送包装后的迁移数据。 2 迁移目标( D M T ) 是迁移数据的接受端，负责 接收迁移源发送过来的迁移数据，按照一定格式解 析、读取迁移数据，并把迁移数据保存到数据迁移的 目标网格数据库节点。 +控删赢 一一数据藏 图2 数据迁移角色交互图 3 迁移控制器( D M c ) 则是迁移过程的发起者 和协调者，它接受用户的迁移请求，计划整个迁移任 务，根据迁移任务向迁移源和迁移目标发送任务执 行指令，协调、同步迁移过程中迁移源和迁移目标的 任务执行情况，同时迁移控制器也负责和用户交互
11、的任务，用户通过向迁移控制器发送指令控制迁移 会话的状态和迁移任务的执行，迁移控制器收集迁 移源和迁移目标的任务执行情况，反馈给用户。 2 5 消息与原语 我们根据数据迁移会话的不同阶段，定义了一 套完整的原语，下面我们按照迁移会话的执行过程 依次介绍。 迁移会话创建和销毁原语在迁移会话建立的 过程中，用户使用s e t u p ( 8 r c e D a t a R e s o u r c e ，t a r D a t a R e s o u r c e ) 原语通知数据迁移控制器建立新的 迁移会话，参数信息包括数据迁移活动的数据源网 格节点和迁移目标数据网格节点的地址信息。迁移 控制器向资
12、源目录或者资源工厂使g e t R e s o u r c e ( r e s o u r c e u R I ) 请求资源，参数中r e o u r c e u R I 表示 资源的位置信息。在获得了这些资源之后，迁移控制 器使用n e g o t i a t e 原语与资源节点协商服务的时问 和质量。以上三个( s e t “p 、g e t R e s o u r c e 和n 8 9 0 t i a t e ) 原语的执行成功应答为a c k ，执行失败应答为r e j 。 当所有的迁移任务执行完毕之后，用户可以用 d e s t r o y 原语结束数据迁移会话。迁移控制器将释放 所
13、有在会话创建阶段申请的资源，结束本次迁移会 话。 迁移参数设定原语在参数设定过程中，我们 使用g e t S u p p o r t P a r a V a l u e s ( p a r a n a m e ) 原语来获得 一个迁移资源可以支持的迁移参数列表，使用s e t - P a f a V a l u e ( p a r a N a m e ，p a r a 、，a l u e ) 来设定资源具体 迁移中使用参数。若成功设定迁移参数，将返回a c k ( s u c c e s s M 8 9 ) ，若设定失败，则返回r e j ( e r r o r M s g ) 。 迁移任务执
14、行原语在数据迁移的任务执行阶 段，迁移控制器使用p r e p a r e 、8 t a r t 来同步和控制迁 移任务的执行。如图5 所示，迁移控制器首先向迁移 源和迁移目标发送p r e p a r e 指令，当迁移源和迁移 目标双方都准备好了之后，迁移控制器使用s t a r t 原 语通知迁移目标开始执行数据迁移任务。当数据迁 移任务执行完毕之后，迁移目标返回迁移控制器 a c k ( f i n i s h ) 信息，表示迁移任务执行成功，若迁移任 务执行出错，迁移目标则会返回给迁移控制器r e j ( e r r o r M 8 9 ) ，表示迁移任务执行失败。 具体的迁移任务执行
15、由迁移源和迁移目标直接 完成我们提供了数据迁移过程中数据分块迁移的 功能，使大数据量的数据迁移能够分成小块进行。这 样做可以使迁移源获取数据、迁移数据在网格中的 传输和迁移目标保存数据三个步骤并行进行，充分 利用网格资源，提高效率另外也可以降低迁移过程 中错误处理的开销，小块数据的迁移失败不会导致 整个迁移任务的重新进行，而仅仅需要重新迁移出 错的部分数据。我们定义了o p e n 、n e x t 、c l o s e 和 2 1 7 f e t c h 四个原语。 鬯驾圈圈 图4 迁移任务执行时序图 5 数据迁移协议的原型实现 在以中医药科技信息数据库群数据资源智能共 享和协同共建的中医药
16、信息网格应用为背景的 D a r t G r i d 啪飞梭信息网格中，我们实现了一个在数 据库网格环境下的数据迁移服务以提供在中医药网 格中的各个数据库节点间迁移数据的服务。 2 1 8 图5 迁移服务结构图 我们基于G l o b u s 的G 1 0 b u sT o o l k i t3 O 在中医 药数据网格中实现了一个迁移服务的原型。如图4 所 示，我们基于O G s I 开发了一个数据迁移控制服务 ( D M c s ) ，这个服务在数据迁移中扮演迁移控制器 的角色，统一协调和控制数据迁移的进程，同时这个 服务也是与用户交互的接口，使用O G s A D A I “提 供的数据库网格服务( G D s ) 作为迁移源和迁移目标 两个角色，这两个服务的任务就是根据数据迁移控 制服务的指令，对底层数据库访问，获取或者插入数 据，另外使用适当的网格数据传输协议，把源数据库 的数据传输给目标数据库。在数据迁移服务中。我们 使用了G D s 服务的两个端口：操纵端口和传输
