《毕业设计（论文）基于iSCSI的重复数据删除系统的设计与实现》由会员分享，可在线阅读，更多相关《毕业设计（论文）基于iSCSI的重复数据删除系统的设计与实现（42页珍藏版）》请在金锄头文库上搜索。
1、摘 要信息化的快速发展致使数据量与日俱增，简单的存储这些数据对企业而言并不是最佳的解决方案存储需要投入成本，大量的文件最终将会加重企业数据备份以及灾难恢复系统的负担。企业与其不断的扩充磁盘容量来应对数据量的增加，还不如转向数据删除技术，以存储更少的数据。近年来新兴的重复数据删除技术就是减少存储空间的有效方式之一。通过对重复数据删除技术的深入研究，提出了一种基于iSCSI平台的重复数据删除存储系统。该系统实现了LBA映射、指纹计算、指纹检索和指纹索引表管理等功能。通过LBA映射表的组织和管理，实现了重复数据删除前后数据块逻辑地址的转化和对应关系；指纹计算模块中采用基于散列的SHA-1算法，实现了
2、将4KB数据块转化为160位摘要值的过程；指纹检索和指纹索引表的管理采用三级索引结构，实现了指纹的精确定位和快速查找。为了弥补重复数据删除带来的系统性能的损失，针对重复数据删除功能中指纹检索性能瓶颈进行了优化，提出了基于布鲁姆过滤的指纹检索算法，大量的指纹检索请求被过滤掉，从而提高检索效率。对系统性能、重复数据删除压缩比和检索过滤算法的效果进行了相关测试。分别测试了标准iSCSI和加入重复数据删除模块后的iSCSI系统的性能，结果表明，加入重复数据删除之后，虽然系统性能有所下降，但是下降的幅度还是预期的范围之内；对重复数据删除压缩比进行了测试，测试结果表明压缩效果的好坏与应用环境密切相关，当应
3、用于那些信息重复度较高的环境如备份存储系统、归档存储系统等时，具有较好的压缩效果；最后对检索过滤算法进行了测试，测试出的过滤率和误判率都可以达到预期效果。关键词：重复数据删除，指纹检索优化，存储性能AbstractResulted in the rapid development of information technology increasing the amount of data, simple storage of these data to enterprises is not the best solution - storage needs input costs, a la
4、rge number of documents that will ultimately increase the enterprise data backup and disaster recovery burden. Compared to expand disk capacity to respond to the increase in the amount of data, companies might as well turn to remove the technical data to store less data.In recent years, new data ded
5、uplication technology is one of effective way to reduce storage space.Data de-duplication technology by further research, a platform based on iSCSI deduplication storage systems. This system has LBA mapping, fingerprint calculation, fingerprints and fingerprint search index table management. LBA map
6、ping table by the organization and management, and data de-duplication before data blocks the conversion of logical address and correspondence; fingerprint calculation module based on SHA-1 hash algorithm, implemented into the 4KB block 160 Summary value of the process; fingerprints and fingerprint
7、index table to retrieve the management of all three index structure is used to achieve precise positioning and fast fingerprint search. To make up for deduplication performance caused the loss of data deduplication feature for fingerprint retrieval performance bottlenecks, for a special algorithm op
8、timization, proposed fingerprint retrieval based on Bloom filter filtering algorithm to filter out a large number of fingerprint retrieval request, thereby enhancing the efficiency of retrieval. On system performance, data deduplication, compression ratio and the effect of filtering algorithms to re
9、trieve the relevant tests. ISCSI and standard were tested by adding data deduplication module of the iSCSI system performance, results show that adding data deduplication, the system performance has declined; on data deduplication compression ratio were tested, the test results show that good compre
10、ssion bad environment is closely related with the application, when applied to repeat that information environment such as a higher degree of backup storage systems, archival storage systems, etc., and has good compression effect; Finally, the search filter algorithm has been tested, tested the filt
11、ration rate and false positive rate can achieve the desired results. Keywords: De-duplication, Fingerprint search optimization, Storage Performance目 录摘 要IABSTRACTII目 录IV1绪 论11.1课题背景11.2课题研究目的及意义21.3国内外发展现状21.4课题的主要研究工作41.5课题的来源52系统关键技术概述62.1iSCSI平台简介62.2重复数据简介72.3重复数据删除的基本原理82.4数据处理粒度分析92.5BLOOM FIL
12、TER算法102.6本章小结133重复数据删除方案设计143.1系统功能需求143.2系统总体设计143.3LBA映射表163.4指纹计算模块163.5指纹管理和检索模块173.6基于BLOOM FILTER算法的指纹检索优化193.7本章小结204重复数据删除系统实现214.1LBA映射表实现214.2指纹计算模块实现224.3指纹索引表的建立与指纹检索224.4BLOOM FILTER过滤算法的实现234.5处理流程分析244.6本章小结275系统测试与分析285.1测试环境介绍285.2测试结果及分析285.3本章小结326总结与展望336.1总结336.2未来展望33致 谢35参考文献
13、36371 绪 论本章首先介绍了当前存储系统面临的挑战和技术发展趋势，然后简述了本论文研究的目的及意义，接着分析了重复数据删除技术的发展现状，介绍了国内外在重复数据删除领域的相关研究工作，最后对本文的主要研究内容及课题来源作了具体说明。1.1 课题背景随着信息化时代的推进，各企事业单位的信息数据量也不断增长，存储管理员不断努力地处理日益激增的数据，比如，文本、声频、视频、图像，还有不断增加的大容量邮件附件。然而存储这些数据对企业而言并不是最佳的解决方案存储需要投入成本，大量的文件最终将会加重企业数据备份以及灾难恢复系统的负担。企业与其寻求更多的存储数据的不同方式，还不如转向数据删除技术，以存储
14、更少的数据。近年来新兴的重复数据删除技术1就是减少存储空间的一种方式，它通过识别和消除数据环境中的冗余数据，确保只将单一的数据保存在存储介质中，从而节省了大量的存储空间，降低了存储成本。这意味着只需要更少的磁盘和更低频率的磁盘采购。更有效地利用磁盘空间，就能够延长磁盘保存期限，这样，提供了更好的恢复时间目标，更长的备份时间。同时，重复数据删除还可以缩减必须通过无线网络传送来实现远程备份、复制和灾难恢复的数据2。这样不仅显著提高现有磁盘存储空间的有效容量，从而使保护数据所需的物理磁盘数量更少，还有助于企业对数据的维护管理。这便可以帮助企业减轻硬件投资和后期维护所带来的经济压力。由于重复数据删除技
15、术可使一些因存储容量需求巨大而成本高的数据管理和保护方案变得经济可行，因此，在工业领域，重复数据删除技术在数据保护和归档留存领域得到了应用。当前，在学术研究领域，重复数据删除技术也是研究的热点之一。本课题的研究中，在基本的iSCSI平台中加入重复数据删除技术，数据存储之前先进行去重处理。为了弥补重复数据删除带来的性能损失，利用过滤技术对数据检索模块进行了优化，提高检索性能。1.2 课题研究目的及意义重复数据删除技术通过有效地减少数据，消除备份成为减低数据存储成本的重要技术，成为大家关注的焦点。在一个完整的备份工作中往往会存在大量的重复数据，如果所有的数据不加处理的进行备份，那么这种备份开销是巨大的，更何况很多情况下数据会备份好几份。在使用磁带作为存储介质的系统中，这种完全备份还是可以接受的；但是在磁盘系统中，完全备份会消耗大量的磁盘空间，使成本增加。这种开销多数情况下是企业不愿意去承受的。将重复数据删除技术应用于备份系统中带来的优势就很明显了：（1）减少备份容量需求，节约成本。研究表明，这种容量缩减幅度一般保持在10-20倍，在这个幅度中实现的磁盘容量需求减缩将为用户带来强有力的成本节约，包括：更小的磁盘、更低的能耗和冷却成本。（2）“释放”容量意味着以更少的介质管理，完成更多的备份数据，获取更长的数据保留时间。（3）重复数据删除
