《基于hadoop文件共享系统设计及实现》由会员分享，可在线阅读，更多相关《基于hadoop文件共享系统设计及实现（40页珍藏版）》请在金锄头文库上搜索。
1、2015 届 毕 业 论 文（设计）论文(设计)题目基于Hadoop的文件共享系统的设计与实现院系名称计算机科学与技术系专业（班级）计算机科学与技术2011级本科1班姓名（学号）指导教师 系负责人 完成时间 本科生毕业论文（设计）诚信承诺书本人慎重承诺和声明：我承诺在毕业论文撰写过程中严格遵守学院及系部有关规定，恪守学术规范，在指导教师的安排与指导下独立完成所规定的毕业论文工作，决不弄虚作假，不请别人代做毕业论文或抄袭别人的成果。所撰写的毕业论文是在指导老师的指导下自主完成，文中所有引文或引用数据、图表均注解并说明来源，如有违规行为发生，我愿承担一切责任，接受学院及系部的处理。 学生（签名）：
2、 2015年 5月 25日基于Hadoop的文件共享系统的设计与实现中 文 摘 要伴随着网络的发展和计算机的普及，基于网络的信息交流和资源共享越来越频繁，而且随着多媒体技术的发展更是推动了人们对信息共享的需求。在企业内或者学校中，用户之间的资源共享是必不可少的，传统的资源共享方式常见的是实体磁盘拷贝，虽然实体磁盘拷贝较为快捷，但是拷贝需要实体磁盘才能进行，而实体磁盘必然伴随着要随身携带，存储不稳定和不安全的问题。信息时代产生数据的数量级愈来愈大，这海量数据的存储和共享成了亟待解决的问题，这时我们采用实体存储设备进行拷贝就显得不是太合适，那我们如何存储这些大量的数据成为了一个难题。随着这个需求的
3、日益明显，出现了文件共享系统，意在将人们对文件和资源的共享变得方便快捷。人们将文件或资源上传到一个公共的服务器上（共享系统）上存储，用户可以在其它任何有网络接入的地方访问系统进行用户上传的文件的操作，包括共享和下载等操作。文中将Hadoop与文件共享系统相结合，实现了文件共享系统的后台文件存储，通过Hadoop提供的对文件操作的方法完成共享系统所需的文件的上传、下载和分享等功能。基于本系统可以很方便的完成文件的存储，而且在任何有网络接入的地方都可以很方便的完成用户文件的操作，可以选择对文件进行删除、移动、重命名、在线预览和将文件分享给好友或者其他用户的功能。相对于传统的文件共享系统，本系统的存
4、储稳定性方面相对来说要高一点，因为文件和系统是两个独立的模块，在物理存储上两者也是分开，这样就保证在系统运行阶段不会影响到文件的存储，从而造成文件或数据的丢失。而且HDFS文件系统的高吞吐量为系统提供了大量的数据存储空间，这就使本系统对于海量数据的存储提供了可能。再结合Oracle数据库完成对用户信息的处理完成用户的界面展示和控制。关键字：文件共享系统；HDFS文件系统；Hibernate框架；JavaScript框架；Spring-MVC框架Design and implementation of Hadoop-based file sharing systemABSTRACTWith th
5、e popularity of the network development and computer-based information-sharing and resource-sharing network of more frequent, and with the development of multimedia technology it is to promote the awareness of information sharing needs. Within the enterprise or school resource sharing between users
6、is essential, traditional resource sharing common entity disk copy, disk copy, although the entity is more efficient, but needs physical disks to be copied, and the real disk inevitable Along with to carry, store instability and insecurity. Information age produces data of magnitude greater and grea
7、ter, store and share massive amounts of data that has become a serious problem, then we use physical storage devices, copy, it is not very suitable, then how we store these large amounts of data has become a a puzzle. With an increasingly clear demand, there has been file-sharing system, is intended
8、 to bring people to share files and resources become convenient. It will be uploaded to a file or resource on a common server (shared system) memory, the user can operate the user to upload files to access the system at any other places have network access, including the sharing and downloading oper
9、ations.Wen will Hadoop and file sharing systems combine to achieve the spool file storage file sharing systems, methods provIded by Hadoop file operations finished uploading, downloading and sharing system requires the ability to share files. Based on this system can easily complete files are stored
10、, and in any place with internet access can easily complete the operation user files, you can select files to delete, move, rename, on-line preview and file sharing to a friend or other user-friendly features. Compared with the traditional file sharing systems, storage stability of the system is rel
11、atively a bit higher, because the file and system are two separate modules, both in the physical storage is separate, thus ensuring the system is not operational phase It will affect the storage file, resulting in the loss of files or data. HDFS file system and high throughput for the system to prov
12、Ide a large amount of data storage space, which makes the system for mass data storage may be provIded. Combined with Oracle database user information to complete the process is completed the user interface display and control.Keywords: file-sharing system;HDFS file system; Hibernate framework; Java
13、Script framework; Sprin g-MVC frameworks目 录中 文 摘 要IAbstractII目 录III第一章绪论11.1课题研究的目的和意义11.2可行性分析11.2.1 系统可行性11.2.2 技术可行性21.2.3 硬件环境可行性21.2.4 操作可行性31.2.5 经济可行性31.3 相关知识背景与技术31.4 开发工具的选用和介绍41.4.1 Eclipse开发平台41.4.2 Hadoop集群41.4.3 Oracle数据库41.4.4 JDK环境5第二章需求分析62.1 系统需求62.2 功能需求62.3 系统维护需求7第三章总体设计93.1 系统设
14、计概要93.2 系统结构设计93.2.1 前台展示93.2.2 后台控制103.3 模块设计113.3.1 总体设计思想113.3.2 系统拓扑图123.4 流程设计123.4.1 重点流程介绍123.4.2 文件搜索流程介绍133.4.3 文件上传流程介绍133.4.4 文件下载流程介绍143.4.5 文件移动流程介绍14第四章数据库表设计154.1 数据库的表关系设计154.2 数据库表字段设计16第五章系统实现与测试205.1 系统开发环境搭建205.2 编码实现205.2.1 普通用户模块设计205.2.2 管理员模块设计265.3 系统运行效果27结 论32参考文献34致 谢35第一章 绪论1.1 课题研究的目的和意义传统文件共享系统的设计，数据大多直接存放于服务器上，并且服务都是单节点运行，这样会产生一些问题。比如当文件的存储量过大时需要添加磁盘时，就会产生麻烦，甚至需要重启服务器，这就有可能造成文件和数据的丢失，达不到稳定存储的要求。此外还有一点就是单节点进行文件的操作，当用户的数据量较多或者同时进行的文件操作较多时，服务器压力也会很大，这就要求要有较高的性能。可以想象一个数据文件很大时，单个节点对文件进行读取时，底层是单个I/O流进行文件的读取操作，会对系统的读写造成很大的压力。本设计基于Hadoop实现文件共享系统，数据存放位置和服
