《一种快照技术的研究与实现》由会员分享，可在线阅读，更多相关《一种快照技术的研究与实现（58页珍藏版）》请在金锄头文库上搜索。
1、华中科技大学 硕士学位论文 一种快照技术的研究与实现 姓名：任敏敏 申请学位级别：硕士 专业：计算机系统结构 指导教师：谢长生 2011-01-13 I 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 摘摘 要要 随着现代企业对数字化信息处理的依赖，企业数据已经成为企业的重要商业资 产，数据备份技术的研究一直是存储厂商研究的重点。企业所有用户的数据都采用 统一的数据备份策略并不是一种很好的选择，不同的用户对数据备份的需求是不同 的。因此，本项目中提出了基于用户的快照技术的思想，即针对企业用户的数据重 要性级别采用不同数据备份机制。 设计并实现了能够进行在线热备份的快照系
2、统。快照系统的设计使用了增量备 份的原理，快照版本依赖于前一快照版本，快照点之间未被更新的数据由快照版本 之间共享。在设计中每次快照版本采用增量位图的方式标记快照点到来之后的数据 更新，快照数据更新采用数据重定向实现，与采用写前拷贝技术相比，数据重定向 方法不增加系统的 IO 负载。快照数据映射维护采用哈希表模式，能够在常数时间内 查找到重定向的用户请求。基于用户管理的快照系统根据用户优先级分配快照卷， 由用户的优先级别决定快照产生时间间隔和快照卷容量。 最后对实现的快照系统分别进行了功能测试和性能测试。快照系统已经实现了 用户自主创建快照、快照恢复和快照删除功能，快照功能测试结果显示，快照创
3、建 时间可以达到几十微秒。 快照系统的性能测试结果表明，采取了快照的系统读写性能和未使用快照的读 写性能相比较有所下降，当用户请求的数据块尺寸大于快照块尺寸时，快照系统的 响应时间延迟较大，不同的读写比率环境和随机读写比率对快照系统都有影响。 关键词：快照，备份，集群，增量位图 II 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 Abstract As organizations and businesses depend more and more on digital information, Storage Vendors always focus on the
4、 data reliability because of the importance of data as the largest business assets of the companies. It is not the best data protection strategy that all of users in company adopt the same data protection strategy. Actually, not all of the users need this strategy to protect the data. The project pr
5、oposed a user-based snapshot technology. It is the main idea that the different levels of data protection strategy will be adopted, according to the priority level of the user. The snapshot system was designed and implemented, which is used to hot backup on line. The theory of incremental back is im
6、plemented. The current snapshot version depends on the previous snapshot version. If the data isnt modified, the data is shared between them. The incremental bitmap is used to record the data which is modified after the previous snapshot version. The redirect-on-write method reduces the load of IO,
7、comparing with copy-on-write. Snapshot using the hash table maintain the data mapping model, in order to redirect the request in constant time. According to user priority, snapshot generation time interval and the snapshot volume capacity are determined, during the user-based snapshot system. The fu
8、nction tests and performance tests run on the snapshot system, which is implemented in the project. The function of creating snapshot, recovering snapshot version and deleting snapshot version. The result of function test proved that it spent tens of microseconds on creating the snapshot version. Th
9、e result of performance test on the system proved that the performance of read-write on the system with snapshot is worse than the performance of the read-write on the system without snapshot. If the size of IO block is larger than the size of the snapshot block, the respond time of the system is la
10、rger than the system, in which the size of IO block is smaller than the size of the snapshot block. The read-write rate and the random-sequence rate have impact on the performance of the system. Key words: Snapshot, Backup, Cluster, Incremental bitmap 独创性声明独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成
11、果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密， 在 年解密后适用
12、本授权书。 不保密。 （请在以上方框内打“” ） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 本论文属于 1 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 1 绪论绪论 互联网的蓬勃发展、社会的数字化变革，导致了网络上的数据呈爆炸式增长。 根据 IDC 的统计，新增数据以每年 60%的速度在增长，2006 年全球数据内容总量为 161EB， 2007 年为 281EB，而到 2008 年底激增为 487EB。据 IDC 和 EMC 公司预测， 2010 年全球数据内容的总量将达到 988EB，2011 年将达到惊人的 1800EB，从
13、2006 年到 2011 年数据总量增长了 10 倍多。由此我们不难看出，信息的存储未来必将呈 现爆炸式的增长， 与此同时也将导致存储需求的大幅增长， 据市场分析公司 IDC 2010 年新出版的统计报告显示，2009 年第四季度全世界磁盘存储容量增长了 33%，总的 出货容量达到了 3EB，据预测到 2012 年，全球磁盘存储系统容量的出货量每两年将 增长一倍。IDC 近期的报告指出，包括电子邮件、图片、音频视频及其他电子文档 在内的数字信息正在经历一场信息爆炸，在 2010 年将可能突破 1EB。全球数据量的 猛增使得存储日益成为一个更独立的专业问题，企业面临着极大的挑战。 随着信息时代的
14、急速发展，企业的数据跻身为企业最有价值的财产已是不争的 事实，根据 IBM 数据管理委员会的建议，使用货币的形式来衡量企业关键数据信息 的价值很有可能成为将来信息社会的发展趋势。对于企业的数据信息的重要性，加 强企业信息管理，防止具有高商业价值的信息丢失或者遭受到不可逆转的损害成为 企业面临的亟待解决的问题。尤其是对于中小企业来讲，核心数据信息的丢失有可 能将企业推向破产边缘，因此完善的数据备份方法越来越受到各界人士的关注。用 户数据保护需求也从简单的硬件保护到自动备份、自动恢复完全实现 24x7 无宕机满 足各种数据保护。 1.1 课题背景课题背景 企业保存在桌面系统中台式机与笔记本电脑里的
15、数据往往非常重要。Gartner 指 出， 有 60%80% 的公司数据存储在台式机和笔记本电脑中。 同样， IDC(Internet Data Center)的数据也显示，企业 60%的重要数据都存放在数据中心之外的台式机或笔记 本电脑上。对于这部分的数据的存储管理以及备份管理本应是一个重要的问题，但 2 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 因用户缺乏数据可靠性意识，尤其是关键用户的操作失误、感染病毒、黑客攻击等 软件或者硬件等问题引发数据丢失，而又未能及时对关键数据予以备份，对于企业 造成的损失将是不可估量的。对于数据丢失所造成的损失，CSI( Comp
16、uter Security Institute)估计：每次桌面系统数据丢失所带来的损失平均为 32000 美元(包括丢失、 损坏或被窃)。 根据赛门铁克 2008 年第二份年度报告， 很多公司硬件和软件故障是导 致意外停机最主要的原因。在导致停机的因素中，硬件和软件各占 23%。人为错误 和断电紧随其后。 企业数据正在以指数级速度增长，经过数据分析人员统计结果，发现公司收集、 存储和分析的有关客户、财务、产品和运营的数据，其增长速度达到 1.25 倍以上。 数据保护随着数据量的激增已经成为一项艰巨的任务，传统的数据备份采用简单的 数据拷贝保证数据冗余达到数据保护的目的，但是随着信息社会发展简单的数据备 份已经不能满足用户的需求，用户对存储架构的需求已经从简单的数据备份和恢复 发展至能够降低存储成本保证服务性能的前提下达到数据保护的目的，因此因地制 宜的方法同样适用于数据保护策略的在用户群中使用。根据用户级别和用户处理数 据的重要性采用不同的服务级别，采取不同的数据保护策略与用户需求达到一致。 基于用户的数据保护策略采用的目标不是保证数据
