一种轻量级快速网络备份系统的设计与实现

《一种轻量级快速网络备份系统的设计与实现》由会员分享，可在线阅读，更多相关《一种轻量级快速网络备份系统的设计与实现（62页珍藏版）》请在金锄头文库上搜索。

1、华中科技大学 硕士学位论文 一种轻量级快速网络备份系统的设计与实现 姓名：刘高 申请学位级别：硕士 专业：计算机系统结构 指导教师：曾令仿 20090525 华 中 科 技 大 学 硕 士 学 位 论 文 华 中 科 技 大 学 硕 士 学 位 论 文 I 摘摘 要要 进入 21 世纪以来，数据呈现出爆炸式增长的趋势，为了安全而有效地保护企业 和个人赖以生存的数据，人们设计了各种各样的数据备份系统，并成功进行了商用。 但是随着越来越多的网络化嵌入式设备的出现和广泛使用，出现新的应用需求：如 何备份和恢复嵌入式存储设备上的数据。现有的数据备份系统，由于其高成本、大 规模和复杂的操作令人望而却步，

2、因此，针对嵌入式存储设备，设计和开发一种轻 量级的、与平台无关的、快速的网络数据备份系统是十分有必要的。 基于对优秀的开源文件同步软件 Rsync 的分析， 设计并实现了一个轻量级快速网 络备份系统，该系统的核心算法是 FLNB（Fast Lightweight Network Backup System） 算法，运用了多项技术来提高备份和恢复的效率：三级重复数据删除技术分别在文 件级、数据块级和字节级对文件集中的数据进行重复数据过滤，减少需要传输的数 据量，节约网络带宽；时间戳技术则通过对每次备份的差量文件进行有序放置来提 供基于时间点的精确地恢复；差量备份技术仅仅备份修改了的数据，大大提高

3、了存 储效率。 实验表明，FLNB 算法能够很好的满足嵌入式存储系统备份需求，减少传输的数 据量，有效地提高备份和恢复的效率。系统提供的 Web 界面使操作更为简单，大大 方便用户使用系统的各种功能以及有效地进行系统管理。 关键字：关键字： 嵌入式存储系统，重复数据删除，备份与恢复 本文的研究工作受国家重点基础研究发展计划(973 计划)项目(2004CB318201)资助，国家高技术研究发展计划 (863 计划)项目(2009AA01A401)资助，教育部和创新团队支持计划项目(IRT-0725)资助。 华 中 科 技 大 学 硕 士 学 位 论 文 华 中 科 技 大 学 硕 士 学 位

4、论 文 II Abstract Since the 21st century, data has shown a trend of explosive growth. In order to safely and effectively protect the important data of enterprise and individual, a wide range of data backup systems have been designed and successfully used in business. However, with the extensive use of

5、 the low-performance embedded devices, the existing data backup system can not well adapted to this situation, for its high cost, large-scale and complex operation of the system discouraged people. Thus, for these low-performance embedded devices, to design and develop a lightweight, platform-indepe

6、ndent, fast network data backup system is very necessary. Based on analysis of the excellent open source file synchronization software, Rsync, this paper has presented a lightweight fast network backup system. And the core algorithm of the system is FLNB (Fast Lightweight Network Backup System), in

7、which we used several technologies to improve the efficiency of backup and recovery: Three-level data de-duplication technology to reduce the amount of transfer data in file-level, block-level and byte-level; time-stamp technology to store the differential backup files in order to support the time-b

8、ased precise recovery; and the Differential Backup only backup the changed data. The FLNB algorithm can greatly meet the demand of embedded storage systems, reduce the amount of data transmission and effectively improve the efficiency of backup and recovery. In addition, the system also provides a W

9、eb interface to allow users to administrate it more conveniently. Keywords: Embedded storage systems, Data de-duplication, Backup and Recovery This work is supported partly by National Basic Research Program of China (973 Program) under grant No: 2004CB318201, National 863 Plans Project of China und

10、er grant No: 2009AA01A401, and Program for Changjiang Scholars and Innovative Research Team in University under Grant No: IRT-0725. 独创性声明独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我 所知， 除文中已经标明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的研 究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本 声明的法律结果由本人承担。 学位论文作者签名： 日期：

11、 年 月 日 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国 家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。 本人授权华中科技大学 可以将本学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、 缩印或扫描等复 制手段保存和汇编本学位论文。 保密，在_年解密后适用本授权书。 本论文属于 不保密。 （请在以上方框内打“”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 华 中 科 技 大 学 硕 士 学 位 论 文 华 中 科 技 大 学 硕 士 学 位 论 文

12、1 1 绪 论 绪 论 1.1 课题背景 课题背景 在当今这个知识爆炸的信息时代，无论对企业还是个人来说，数据都是一项弥足 珍贵的资源。数据丢失轻则影响企业业务连续性，使其丧失一时的竞争优势，重则 能使一个企业破产倒闭。引起数据丢失的原因很多，包括系统软硬件故障、人为操 作失误或破坏以及不可抗拒力（自然灾害、战争）等1。为了保护数据免遭不测，人 们提出了数据备份系统的概念，并成功将其应用到了商业领域，涌现出了一些优秀 的备份系统， 如： IBM 的 TotalStorage， HP 的 OpenView 存储镜像软件、 CASA、 XPCA 以及 EVACA，EMC 的 SRDF 和 Mirr

13、orView，VERITAS 的 NetBackup 等等2。这些 系统往往动辄需要数十万美元，规模庞大，操作复杂，适用范围也很窄，仅仅是那 些财大气粗的大型企业和政府机构才有能力构建一套这样的数据备份系统。而对于 大多数的中小型企业和个人用户而言，要么就根本没有进行数据备份的观念和要求 （如大多数的个人用户） ，要么就是采用人工拷贝的方式来简单保存在某种不易损坏 性介质中（如光盘和磁带） 。这样做不仅操作不方便，管理混乱，查找不易，而且数 据的安全性和可恢复性都达不到要求，一旦发生系统崩溃或数据丢失，很难恢复到 以前的状态，随之而来的自然是无可估量的损失。 随着计算机技术应用的深入，嵌入式设

14、备的广泛使用，数据备份的问题再次凸现 出来了： (1)嵌入式设备的 CPU 性能不高，运行内存也不大，只是刚刚能满足应用环境的 要求3，而传统备份技术往往需要消耗大量 CPU 时间和占用大量内存； (2)嵌入式设备进行通讯一般是通过无线技术（如无线局域网，WIFI 等） ，网络带 宽相比于有线网而言相对较小，而传统备份技术在带宽利用方面往往是毫不吝啬， 一旦应用到这种环境下网络带宽无疑将会成为系统性能的瓶颈2； (3)嵌入式设备产品众多，各种产品之间互不兼容：不仅系统之间不兼容，而且 华 中 科 技 大 学 硕 士 学 位 论 文 华 中 科 技 大 学 硕 士 学 位 论 文 2 协议、软件

15、和操作方式都各不相同。因此，需要设计一种与平台无关的备份系统。 本课题正是基于以上考虑，通过设计并实现一种轻量级、高效率、与平台无关的 网络备份系统，来扩大备份系统的适用范围和增加系统的易操作性，更好的满足当 前应用的需要。 1.2 容灾备份与重复数据删除 容灾备份与重复数据删除 在信息技术与数据管理领域，容灾备份是指利用技术、管理手段以及相关资源确 保已有的关键数据、关键数据处理系统和关键业务在灾难发生后在确定的时间内可 以恢复和继续运营的过程3。一个好的容灾备份系统应该能保证 7X24 小时的不间断 服务，并能在数据丢失的情况下用最短时间进行恢复4。 1.2.1 异地数据备份与恢复 异地数

16、据备份与恢复 无论是双机镜像还是 RAID(Redundant Array of Independent Disk)磁盘阵列，其备 份数据和原始数据位于同一物理位置，一旦发生突如其来的自然灾害（如地震）或 者是人为灾难（如恐怖袭击） ，就会导致备份数据和原始数据一起丢失。异地数据备 份和恢复正是应对这种情况的有力手段，根据实际情况的需要，可以将备份数据放 置在同一个城市的不同的建筑物内；也可以将备份数据放置在不同城市，数据的备 份和恢复可以通过公用 IP 网或者是专用 VPN(Virtual Private Network)网来实现4。 1.2.2 备份策略 备份策略 备份策略指确定需备份的内容、备份时间及备份方式。目前被采用最多的备份策 略主要有以下三种5： (1)完全备份 完全备份就是拷贝给定计算机或文件系统上的所有文件, 而不管它是否被改变 5。其优点是恢复迅速，操作方便；同时缺点也很明显：备份周期长，重