《《云存储中的对象存储数据同步方法研究》-公开DOC·毕业论文》由会员分享，可在线阅读，更多相关《《云存储中的对象存储数据同步方法研究》-公开DOC·毕业论文（55页珍藏版）》请在金锄头文库上搜索。
1、浙江大学硕士学位论文 Abstract 云计算平台中对象存储的数据同步方法研究 摘要随着云计算的快速发展，以及数据产生速度的不断提高，各种云计算平台和应用对信息存储的要求也越来越高。包括亚马逊、谷歌和IBM在内的很多互联网巨头都投入到对云存储系统的研究中。本文通过分析OpenStack平台的云存储系统Swift，在对该系统进行分析的基础上，了解云存储系统中对象存储技术的使用，以及对象存储系统中同步各类数据的方法。同时本文使用了一定的篇幅详细分析了Swift存储系统中客户端与系统的数据传输，并研究了存储系统内维护对象的一致性而进行的同步，基于此提出可配置副本存储方案在数据同步方面所需要进行的设计
2、开发。在上述工作的基础上，通过修改Swift的部分源代码，调整系统的配置结构和业务逻辑，实现可配置副本的存储方案。最后，基于云存储系统的应用环境对设计的系统进行分析，讨论该系统在不同情况下的工作方式并给出系统API调用的方法示例，评估系统在实际应用环境中的表现。关键词：云存储，对象存储，对象同步，一致性i浙江大学硕士学位论文 AbstractAbstractWith the rapid development of cloud computing, as well as the continuous improvement of the data generation, a variety o
3、f cloud computing platforms and applications for information storage requirements are also increasing. Many Internet giants, including Amazon, Google and IBM are put into the cloud storage system.In this paper, we analysis the OpenStack cloud storage platform system Swift. Based on analyzing the sys
4、tem, we try to understand the using of cloud storage system and object storage technology. At the same time, we use a detailed analysis of the data transmission and the client of the system in the Swift storage system, and research the synchronization for the sake of consistency maintenance of the o
5、bject storage system. Then, we study the design of a configurable copy storage scheme for the data synchronization.On the basis of the above-mentioned work, we modify the Swift part of the source code, adjust the configuration of the system structure and business logic to design and develope the con
6、figurable storage solutions.At last, we analyse the system based on storage system application environment for the design, discuss the way of working on the system in different circumstances and give the example for a method of system API calls to assess the performance of the system in actual appli
7、cation environment.Key Words：Cloud Storage, Object storage，Object Synchronization，Consistency. ii浙江大学硕士学位论文 目录目录摘要iAbstractii图目录IV表目录V第1章 绪论11.1 研究背景11.2 研究现状及发展趋势11.2.1 国外云存储技术发展现状11.2.2 国内存储技术发展现状21.2.3 发展趋势31.3 论文内容和结构31.3.1 主要研究内容31.3.2 论文组织结构3第2章 相关理论基础52.1 云存储52.1.1 云存储的结构52.2 对象存储62.2.1 存储对象7
8、2.2.2 优势比较92.3 一致性哈希102.3.1 简单哈希算法102.3.2 一致性哈希112.4 数据同步112.5 本章小结12第3章 OpenStack Swift技术解析133.1 OpenStack云计算平台133.1.1 OpenStack架构143.1.2 OpenStack未来153.2 Swift架构153.2.1 Swift架构分析163.2.2 Swift存储访问过程173.3 Swift中对象的存储结构183.3.1 帐号存储结构183.3.2 容器存储结构203.3.3 对象存储结构223.4 对象同步233.4.1 对象服务233.4.2 复制器273.5 本
9、章小结31第4章 设计与分析324.1 系统设计324.1.1 原型分析324.1.2 开发设计思路324.2 系统结构334.3 系统工作流程354.4 client开发354.5 系统环境与性能分析374.5.1 测试环境配置374.5.2 测试结果分析384.6 磁盘故障与多备份效能分析404.7 多备份系统性能分析414.8 系统分析综述434.9 本章小结44第5章 总结与展望455.1 论文回顾455.2 未来展望45参考文献47作者简历49致谢50III浙江大学硕士学位论文 表目录图目录图 2.1云存储系统结构6图 2.2对象组成8图 2.3虚拟目录技术9图 2.4传统哈希11图
10、 3.1 OpenStack架构图14图 3.2 新浪Swift存储系统17图 3.3 帐号存储结构19图 3.4 账号存储展示19图 4.1 可配置副本系统结构34图 4.2 系统运行中的一次测试结果37图 4.3 测试客户端38图 4.4 由于同步故障的性能下降39图 4.5 AWS Instance 列表41图 4.6文件上传到系统的效率42图 4.7从系统传出文件的效率42表目录表 3.1 account-stat表结构20表 3.2 Container_stat结构21表 3.3元数据写入26表 3.4 对象检测代码27表 3.5 get_hashes方法29表 3.6 invali
11、date_hash方法30表 4.1 auth调用36表 4.2不同类型文件上传同步比较39表 4.3MTDDL分析40V浙江大学硕士学位论文第1章 绪论第1章 绪论1.1 研究背景当前，随着信息技术的快速发展，数据的生成速度飞速的提高，加上互联网应用的覆盖面和需求不断的提升，每年数据的生成以3到5倍的速度增长1。传统的数据传输和存储方式正在发生巨大的变化。目前，人们正在大力发展云计算技术来解决传统的信息存储与处理技术在处理海量数据时的不足。因此，高效的云存储系统作为云计算技术发展的产物和满足云计算对数据存储的更高要求的需求，必然成为今后存储领域发展的方向。云存储改变了以往数据主要集中在本地存
12、储和处理的传统模式，企业和个人用户无需再投入大量购置硬件等设施的成本就能够方便快捷地通过网络根据需求访问计算与存储等服务2。同时，作为新时期的一个重要的存储变革，对象存储的概念逐渐的在海量数据的浪潮中脱颖而出，作为对文件存储和块存储的补充和革命，它正在快速的占领大规模存储技术的舞台。同时，由于它的一些优良特性，与云计算可以很好的结合起来，实现存储和应用的整体高效化，极大的驱动和发挥了云计算的性能。本文中所描述的云存储系统主要基于开源的云计算框架和平台组建，在吸收成熟和开放的技术基础上，主要对云存储环境下的数据同步方案的进行解析，同时通过研究实现直接配置存储实例数的存储系统，从而完成对云存储系统
13、中对象存储方案的深入分析和优化过程。通过研究和实现存储系统的内部结构与配置以及存储优化，可以更好的利用网络带宽和存储空间，从而通过提供优化的访问接口，加速对数据的访问过程，给云计算服务带来性能的提升。1.2 研究现状及发展趋势1.2.1 国外云存储技术发展现状在国外，云存储技术已经得到了广泛的应用。尤其是在需要大规模计算和数据吞吐的领域，云存储正在作为云计算的重要组成部分发挥着巨大的作用。在亚马逊，通过对对象存储技术的研究和应用，简易储存服务（Amazon S3）为企业提供了一种以实惠价格的方式来存储大量数据。虽然S3没有向外提供很多的前端功能，但是也正因为如此它更广泛的应用于作为其他互联网云
14、存储工具的后台支持力量来存在。这样，S3的周围就形成了一个庞大而健康的生态圈，又进一步的推进了它的发展。EMC公司作为企业存储和虚拟化市场的领头人，提供了主流的存储服务Mozy，并拥有了超过80，000余家企业客户。与其他的一些网络磁盘和存储服务不同，Mozy主要集中于备份而不是文件共享，它同时支持微软和苹果的操作系统。企业的云存储方面，真正的王者还要数BOX，它拥有至少140，000家，其中甚至包括大约400家世界500强企业3。BOX公司的产品有一个非常简单和直观的界面，可以方便地共享和访问文件，并带了一系列的工具，如Salesforce的整合和管理控制台进行有效的用户管理。同时，IBM也于近日宣布加入OpenStack项目4，加上Intel、VMware等国际知名企业的加盟，OpenStack已经成了冉冉升起的朝阳。1.2.2 国内存储技术发展现状与国外的情况类似，国内的云存储业务也是由各大IT互联网企业依托于自身的技术或者平台搭建起来的。在华为，依托于自身的硬件技术，利用推广能力和初始容量的优势，推出了数
