《云环境下存储技术的研究设计说明》由会员分享，可在线阅读，更多相关《云环境下存储技术的研究设计说明（41页珍藏版）》请在金锄头文库上搜索。
1、学位论文原创性声明本人重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的容外，本论文不包括任何其他个人或集体已经发表或撰写的成果作品。本人完全意识到本声明的法律后果由本人承担。作者签名： 年 月 日学位论文使用授权书本学位论文作者完全了解学校有关保障、使用学位论文的规定，同意学校保留并向有关学位论文管理部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权省级优秀学士论文评选机构将本学位论文的全部或部分容编入有关数据进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于1、囗，在 年解密后适用本授权书2、不囗
2、。（请在以上相应方框打“”）作者签名： 年 月 日导师签名： 年 月 日本科生毕业设计（论文）任务书学生：专业班级： 通信0906班指导教师：许建霞 工作单位：信息工程学院设计(论文)题目: 云环境下存储技术的研究 设计（论文）主要容：云计算主要是利用现有的各种资源，使用虚拟化等多种技术，构建由大量计算机组成的称之为“云”的资源池，它具有强大的资源控制和监督管理能力，能够根据用户的不同需求来动态切割和分配计算资源，用户不需要去了解云的具体构成，只需要定制需求就可以获得云计算交付的服务。云存储伴随云计算而产生，与传统的专用存储相比，云存储增加了资源利用率，其独特的按使用付费和弹性扩展的方式提供计
3、算资源具有显著的优势，它将成为未来最值得期待推广和应用的技术之一。论文的主要容包括了解云存储的发展背景、特征、定义；对云存储的关键技术进行分析和研究；对比多家云存储厂商的架构技术和标准接口，了解其架构的特点，最后用CloudSim软件对云计算系统进行仿真。要求完成的主要任务:1. 查阅不少于15篇相关资料，其中英文文献不少于2篇。 2. 完成开题报告。3. 了解云存储的发展背景、特征、定义；对云存储的关键技术进行分析和研究； 4. 对比多家云存储厂商的架构技术和标准接口，了解其架构的特点。5. 用CloudSim软件对云计算系统进行仿真。6. 完成不少于20000字的论文的撰写并完成答辩的相关
4、工作。7. 在设计中完成不少于312#图纸的描绘。 8. 完成毕业设计周志。9. 完成不低于5000汉字（20000英文印刷符）的教师指定的相关文献的英译汉翻译。必读参考资料：1晏强, 晓锋, 丁蕊.云存储技术研究J. 上计算机与信息技术.2012. 第5期: 22-24.2 成静静. 基于Hadoop的分布式云计算/云存储方案的研究与设计J. 数据通信, 2012, 第5期: 14-18.3 PENG Yong, ZHAO Wei, Secure cloud storage based on cryptographic techniques J. ScienceDirect 89(2009)
5、174180 October 2012, 19(Suppl. 2): 182189.4 Josef Spillner, Johannes Mller, Alexander Schill.Creating optimal cloud storage systems.Future Generation Computer Systems 29 (2013) 10621072.指导教师签名系主任签名院长签名(章)理工大学本科生毕业设计（论文）开题报告1、目的与意义（含国外的研究现状分析）云存储是一个以数据存储和管理为核心的云计算系统，可以认为是以数据处理、数据运算为中心的系统，是指通过集群应用、网格技
6、术或分布式文件系统等功能，将网络量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统。云计算系统不但能对数据进行处理和运算，系统中还有大量的存储阵列设备，以实现对计算数据的保存和管理。在云计算系统中配置相应的存储设备，该计算系统即拥有了云存储系统功能。云存储不是存储，而是服务。就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存
7、储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。相比于传统的存储，云存储更容易扩容(包括带宽)，云存储采取的架构是并行扩容，容量不够了，只要采购新的存储服务器即可，容量立即增加，几乎是没有限制的。更易于管理，因为将大部分数据迁移到云存储上去后，所有的升级维护任务都是由云存储服务提供商来完成，云存储服务则可以很方便的在原有基础上扩展服务空间，满足需求。成本更低廉，就目前来说，企业在数据存储上所付出的成本是相当大的，而且这个成本还在随着数据的暴
8、增而不断增加。IDC研究表明，从2006年到2010年，全球信息总量将增长6倍以上，从161EB增加到988EB(1EB=1024PB)。一些新推出的磁盘阵列中已经普遍采用了750GB或1TB的SATA（Serial Advanced Technology Attachment，串行高级技术附件，一种基于行业标准的串行硬件驱动器接口）硬盘。目前已知存储密度最高的磁盘阵列可以在4U空间（1U=4.45 cm）提供高达42TB的存储容量，这在以前是根本无法想象的。最新一代LTO-4磁带的单盒磁带存储容量也达到了1.6TB(压缩比为21)。技术的不断进步必将推动存储向更高容量发展，而重复数据删除、压
9、缩等技术的引入，可以进一步提升存储空间的利用率。从性能方面看，FC磁盘阵列已经逐步过渡到4GB时代，而8GB FC又在向数据中心用户招手；万兆IP存储不再是纸上谈兵；在InfiniBand领域，已经有厂商推出了40GB InfiniBand适配器产品。2、基本容和技术方案与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。云存储系统的结构模型由4层组成，如图1所示：图1（1）存储层存储层是云存储最基础的部分。存储设备可以是FC
10、光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。（2）基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。CDN容分发系统、P2P数据传输技术和数据压缩技术等可以保证云存储中的数据可以更有效地存储，使用和占用更少的空间，占用更低的传输带宽，从而对外提供更高效的服务。
11、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。（3）应用接口层应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如数据远程容灾和远程备份、视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。（4）访问层任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。云存储使用者采用的应用软件客户端不同，享受到
12、的服务类型也不同。3 进度安排第1-3周： 查阅相关文献资料，明确研究容，了解研究相关方向第4周： 开题报告的编写第5-8周： 完成各种实验方案资料的整理第9-11周： 完成原理和各种方案，并进行比较分析第12周： 研究云存储在数据存储的一些应用并进行仿真第13-14周：毕业论文书写第15-17周：完善毕业毕业设计论文，并答辩4 指导教师意见 指导教师签名： 年 月 日 / 目录摘要IAbstractII1绪论11.1云存储的兴起11.2云存储的发展22云存储的概念32.1云存储的定义32.2云存储与传统存储32.3云存储与云计算42.4云存储架构模型43云存储的关键技术63.1存储虚拟化技术
13、63.2分布式存储技术73.3 数据备份技术83.3.1传统的备份策略83.3.2 副本数据布局83.3.3 连续数据保护83.4 数据缩减技术93.4.1 自动精简配置93.4.2 自动存储分层93.4.3 重复数据删除103.4.4 数据压缩103.5存储安全技术113.6 容错技术124云存储的架构技术134.1GFS系统架构134.2GPFS架构154.3HDFS架构164.4Dynamo架构175云计算仿真CloudSim205.1CloudSim环境配置205.2程序流程图225.3程序编写步骤225.4仿真结果296 总结与展望306.1 本文工作总结306.2研究工作展望30参
14、考文献31致33摘要云计算是当前研究与应用的热点问题。至今为止，Google、Microsoft、IBM、亚马逊等IT商业巨头都推出了自己的云计算平台，并把云计算作为其未来发展的最主要战略之一。云存储作为云计算的底层服务，对上层服务提供重要的支持；同时，云存储可以有效的存储和管理海量数据，所以更是成为专家学者们关注的焦点。因此，云存储的研究不但紧跟发展的趋势，同时还具有较高的应用价值。云存储是一种架构复杂的分布式文件系统，一是其建立在云计算系统的基础设施之上，这样的基础实施是基于廉价的或虚拟化了的不可信物理硬件；二是其必须支持超大节点规模和海量数据的高效存储，这对于系统架构和模块设计的关键技术
15、提出了巨大的挑战。本文讨论了云存储的发展背景，给出了云存储的定义，描述了云存储的特点，提出了云存储的架构模型，系统地阐述了云存储的关键技术，对比了GFS、GPFS、HDFS、Dynamo架构的特点，并用CloudSim对云计算系统进行了仿真。关键词：云存储，关键技术，架构模型，HDFS，CloudSimAbstractCloud computing is a hot topic in recent research and applicationsUp to now, Google、Microsoft、IBM、Amazon and some other famous cooperations have proposed their cloud computing application, and take cloud computing as one of the most important st
