《中期报告-陈寿刚-GS0821217-第1.0版》由会员分享，可在线阅读，更多相关《中期报告-陈寿刚-GS0821217-第1.0版（23页珍藏版）》请在金锄头文库上搜索。
1、硕士论文中期检查报告论文名称：海量小文件的分布式存储设计与实现姓 名： 陈寿刚 学 号：GS0821217 专 业：IT项目管理与产业信息化 学院指导老师：王宝会 企业指导教师：刘凯英 企业指导老师单位：天航奥杰信息科技(北京)有限公司21.课题背景介绍n1.1.课题来源n1.2.课题研究内容n1.3.系统总体方案1.1.课题来源-需求nWeb2.0的流行，草根成为Web创作的主 体，导致海量小文件的产生，特别是图 片文件。n电子商务的日趋主流，海量的商品种类 带来海量的图片文件。n智能客户端的大规模使用，用户能随时 随地进行创作，分享。这也带来了海量 的小文件。31.1.课题来源-实例n某W
2、eb2.0网站，注册用户数1500万以上 ，活跃用户数在200万左右，每天产生的 图片文件数目在30万以上，一年产生的 文件数量上亿个。n网站需要构建一套海量的小文件分布式 云存储系统，需要能平滑扩容，具有一 定容错性，支持大并发访问，易于安装 配置。41.1.课题来源-实例n某Web2.0网站，注册用户数1500万以上 ，活跃用户数在200万左右，每天产生的 图片文件数目在30万以上，一年产生的 文件数量上亿个。n网站需要构建一套海量的小文件分布式 云存储系统，需要能平滑扩容，具有一 定容错性，支持大并发访问，易于安装 配置。562.论文工作是否按开题报告预定 的内容及进度安排进行n2.1.
3、开题报告工作计划n2.2.实际工作计划n2.3.说明72.1. 开题报告工作计划论文阶段计划开始时间计划结束时间查找收集资料，编写开 题报告。2011/9/12011/9/16需求调研和分析,编写需 求说明书。2011/9/202012/1/20系统架构设计和概要设 计（同时完成中期论文 答辩）。2012/8/202012/9/20系统详细设计2012/9/202012/10/20系统实现和测试2012/10/202012/11/20毕业论文撰写并答辩2012/11/202012/12/2082.2. 实际工作计划论文阶段计划开始时间计划结束时间查找收集资料，编写开 题报告。2011/9/12
4、011/9/16需求调研和分析,编写需 求说明书。2011/9/202012/1/20系统架构设计和概要设 计（同时完成中期论文 答辩）。2012/8/202012/9/2092.3. 说明本论文严格按照计划进行，开题报告中计 划的中期应该完成的工作基本都完成了 。103.目前已完成的研究工作及结果1n1、完成了对海量小文件分布式存储的需求分析；n2、分析了现有分布式存储引擎GFS和TFSn3、确定了系统总统解决方案架构。n4、确定了客户端和服务端的通讯协议；并确定了常用 文件操作，包括文件读，文件写，文件删除，文件元 数据读取流程设计。n5、确定了分布式缓存软件选型，并根据选型的软件， 设计
5、出了缓存架构及主要的缓存过期策略；n6、确定了系统容错的解决方案，以及出现问题后的系 统恢复；113.目前已完成的研究工作及结果2n7、确定了NoSQL存储引擎的选型，并且确定 了部署结构，根据所选择的NoSQL服务器，进 一步完善了数据模型的设计。n8、确定了负载均衡算法；n9、确定了一个海量分布式文件存储系统的典 型应用，在中期结束后，将对这个应用进行需 求分析及详细的设计工作；n10、确定了系统开发的工作模式及工作流程。3.1.总体架构图123.2.存储结构示意图133.3.文件存储时序图143.4.文件读取时序图154.创新性的方法、技术、成果n1 只读模式数据节点：在DataServ
6、er中可 以对高性能的服务器配置为只读模式， 而Monitor服务器会在系统相对空闲的时 候把访问频繁的文件拷贝到这些类型的 服务器上，可以起到了很好的缓存服务 器的作用164.创新性的方法、技术、成果n2空闲数据Blocks的引入：在DataServer 中维持一定比例的空闲Blocks，当系统中 出现Blocks失效的时候，MonitorServer 能快速地从备份位置使用空闲Blocks把失 效节点恢复过来。174.创新性的方法、技术、成果n2 使用NoSQL服务器存储元数据：系统 使用NoSQL服务器来存储元数据，使得 系统可扩充性增强，并且运行成本大大 降低。18195.存在的困难与
7、问题1、需要进一步了解NoSQL数据库的建模技 术，完善系统在这方面的功能。； 2、文件名包含的信息如何同步问题； 3、故障节点的数据恢复复制能力； 4、.NET读写大文件性能问题； 5、进一步提高系统并发写的能力。206.论文工作计划论文阶段计划开始时间计划结束时间查找收集资料，编写开 题报告。2011/9/12011/9/16需求调研和分析,编写需 求说明书。2011/9/202012/1/20系统架构设计和概要设 计（同时完成中期论文 答辩）。2012/8/202012/9/20系统原型实现2012/9/202012/10/20系统原型测试及评估2012/10/202012/11/20毕
8、业论文撰写并答辩2012/11/202012/12/20217.主要参考文献n1维基百科，条目 web2.0、Hadoop、 GFS、GPFS.n2叶伟.互联网时代的软件革命SaaS架 构设计.电子工业出版社.2009.n3曹强,黄建忠,万继光,谢长生.海量网络 存储系统原理与设计.华中科技大学出版 社. 7. 主要参考文献n4王达.网管员必读-网络管理. 电子工业 出版社.2007.n5雷万云,曾彦.云计算技术、平台及 应用案例. 清华大学出版社.2011.n6周洪波.云计算：技术、应用、标准和 商业模式.电子工业出版社.2011.n7邵佩英.布式数据库系统及其应用（第 二版）.科学出版社.2005. 227. 主要参考文献n8陆嘉恒.分布式系统及云计算概论.清 华大学出版社.2011.n9Tom White.Hadoop: The Definitive Guide.OReilly Media.2011n10M. Tim Jones Ceph：一个 Linux PB 级分布式文件系统 http:/ n/linux/l-ceph/index.html?ca=drs-23
