《毕业论文（设计）云计算研究及hadoop应用程序开发.docx》由会员分享，可在线阅读，更多相关《毕业论文（设计）云计算研究及hadoop应用程序开发.docx（46页珍藏版）》请在金锄头文库上搜索。
1、摘要在2007末年云计算正式被提出的一个全新的概念，云计算可以算是一个时代革命性的创新，标志着计算能力也可以视为一种商品进行买卖流通，好比就跟电水、液化气一样，取用相当方便，而且费用低廉，但是不同之处在于云计算资源是利用互联网进行传输的。至今为止，微软、谷歌、亚马逊等IT界的商业大佬都推出了自己相应的云计算平台，甚至把云计算发展作为其未来最重要战略之一。所以，云计算的研究不仅紧跟业界技术发展的趋势，与此同时还具有相当高的应用价值。 本文从实际出发，首先对国内外的情况做一个简要的分析，然后在云计算的基础入手，一步一步搭建云计算平台，并阐述实现云计算的各个环节与步骤，与此同时分析关键技术的原理与作
2、用，最后用相应的实例和数据去证明云计算的架构和平台。本文将就国内外云计算发展现状以及云计算相关技术，较为深入的研究和论述基于Hadoop平台的云计算实现原理和过程，并实际开发简单的hadoop云计算应用程序实例用以验证论述。关键字 云计算; Hadoop; 分布式计算AbstractWas formally proposed a new concept in 2007 Dynasty cloud computing, cloud computing can be regarded is a era of revolutionary innovation, marking the computi
3、ng power can also be regarded as a commodity trading circulation, like with water, electricity and liquefied petroleum gas as, access is very convenient, and low cost, but the difference is Cloud Computing resources are transmitted by the Internet. So far, Microsoft, Google, Amazon and other IT busi
4、ness gangster have launched their own cloud computing platform, and even the development of cloud computing as one of its future most important strategies. So, the research of cloud computing not only follows the trend of industry technology, but also has a fairly high application value.The from a p
5、ractical point of view, first of all at home and abroad to do a brief analysis, and then start in the cloud computing based, step by step build cloud computing platform, and describes the implementation of all aspects and steps of cloud computing. At the same time, the analysis of the principle and
6、function of the key technology and the used examples and data to prove the cloud computing architectures and platforms.This article will discuss the domestic and international cloud computing development present situation as well as the cloud computing technology, more in-depth study and discussion
7、based on Hadoop cloud computing implementation principle and process, and actual development of simple Hadoop cloud computing applications examples used to verify this.Keywords cloud computing；Hadoop；MapReduce III河北经贸大学经济管理学院毕业论文目录1 绪论11.1 概述11.2 目的和意义11.3 国内外进展21.3.1 国外进展21.3.2 国内进展21.4 本文工作的主要内容32
8、 云计算相关背景52.1 云计算概述52.1.1 云计算基本概念53 Hadoop平台研究73.1 概述73.1.1 Hadoop概述73.1.2 HDFS介绍73.2 Hadoop构架以及原理93.3 Hadoop API 的使用103.3.1 API中的包104 基于Hadoop分布式运行程序114.1 搭建Hadoop环境114.1.1 平台搭建前准备工作114.1.2 CentOS安装配置114.1.3 Hadoop运行环境搭建134.1.4 SSH无密码验证配置144.1.5 Hadoop集群安装154.2 基于hadoop平台程序演示184.2.1 系统概述184.2.2 实现Ma
9、p类194.2.3 实现 Reduce 类194.2.4 运行 Job204.2.5 设计与编码215 测试运行235.1 运行过程235.2 运行结果245.3 结论26致谢27参 考 文 献28附录A 词频统计程序代码29II云计算研究及hadoop应用程序开发1 绪论1.1概述 在2007年云计算被正式提出，它是一个全新的概念，到现在为止，大多数IT界的行业大佬都将云计算的发展作为其未来的重要战略之一，其它有关的互联网商业企业家也是相当重视云计算的发展，云计算的未来的发展的前景毋庸置疑。云计算的基础原理是，经过将计算数据分布在海量的装有分布式架构的计算机上，这样企业数据中心的运行主要是使
10、用互联网。从而使企业能够将随时资源切换到需要的应用上，根据需求访问计算机和存储系统。云计算已经深刻地影响着整个IT产业。云计算是在分布式计算、网格计算、并行计算等发展的基础上提出的一种新型计算模型，是一种新兴的共享基础架构的方法。它将带来工作方式和商业模式的根本性改变。我们的生活已经与互联网密不可分，云计算的发展足一种不可逆转的趋势。1.2 目的和意义hadoop是开源组织其中一个分布式的计算框架，这个架构可以运行在大型集群上，为程序提供了一个可靠和稳定的接口环境。这个框架是一项比较新颖的技术，但是它发展也是相当快速，研究其发展的原因，第一这个架构将并行计算“平民化”，hadoop对开发程序员
11、来说，屏蔽了并行开发应用程序的细节，这样开发应用的程序员主要把精力放到业务逻辑上。然后Hadoop框架也能运行于一般的PC集群上,节约了很多开发成本，这样也可以让个人研究、应用Hadoop分布式系统更方便了。总的来说，本文有以下几方面的意义：1).随着发展所有的企业数据量越来越大，那么怎样对大量数据进行合理管理成为了企业的重要问题。如果利用云存储技术解决这个问题，无疑会提高企业的经济效益。2).HDFS可以实施运行在普通的PC集群上，极大降低了实施运行分布式系统的成本。3).对分布式文件管理系统的研究可以应用到别的集群存储技术研究上，为接下来的研究打好基础。1.3 国内外进展1.3.1 国外进
12、展 云计算从2007年就在国外开始萌芽，首先对它的发展做一个简单介绍，2007年7月IBM做出“兰云计划”这意味这云计算将是IBM未来发展的一个重点业务。在云计算发面，IBM有很多有利条件，比如说服务器、存储、管理软件等等，这样IBM有机会扩展自己的业务领域。 在2007年11月的时候，Google宣布了自己的云计算，与此同时将与IBM合作，并且把世界上很多高校纳入“云计算”当中，同时开始跟IBM的合作，现在在美国好多大学开始推广他们的计划，并且为这些大学提供了技术和硬件上的支持，希望这样可以节约成本。 世界著名的电商公司“亚马逊”，在2007年的时候开放了名为“弹性计算机云”的相关服务，这样
13、小公司可以购买他们的资源，不用再去花费很大的硬件成本，这两年亚马逊的云计算收入一直在增加。 除了以上这些公司以外，还有很多大公司都在与时俱进的开展云计算研究和服务，其中有微软、雅虎等，都有云计算的相关研究和开发。1.3.2 国内进展在我国，云计算发展也非常迅猛。其中互联网行业巨头都已经开始了相应的云计算研究项目，比如阿里巴巴推出了“阿里云”的项目，2008年IBM在北京也创建了第二家中国的云计算中心，2009年11月11日，全国首家云计算产业协会在深圳成立，协会的成立标志深圳市政府对于云计算产业在未来发展的高度重视，同时标志着深圳市企业对于云计算研究及应用领域的关注与信心，深圳市高科技产业发展
14、迈向成熟，而云计算产业则给深圳信息产业带来新的商机，当前深圳是全国首个大力发展云计算的城市，现在有100多家企业从事云计算相关产业研究和技术开发等，未来产业将蕴藏巨大的商机。 2009年12月中国云计算技术与产业联盟在京成立，四十多家企业一起共同倡议成立中国云计算技术与产业联盟。2010年8月上海公布云计算发展战略，上海的目标很明确:打造亚太地区的云计算中心。 1.4 本文工作的主要内容在广泛的文献调研基础上，本论文主要对基于Hadoop的云计算理论和基于Hadoop的分布式云计算环境进行研究，具体包括：Hadoop构架及实现原理MapReduce,Google File System相关资料
15、、搭建Hadoop运行环境和实现简单的一个基于Hadoop分布式运行程序。 本文主要以云计算与Hadoop为主题进行扩展研究，涉及下面三个方面的内容：1).广泛查阅资料的基础上，对云计算的背景以及国内外的发展现状进行了一个很全面的了解。云计算的基本的概念以及发展前期其他计算模式的历程，在这十年间的历程中云计算逐渐走向应用，它的特点和优势，对我们现今生活方式的改变起了很大的作用。云计算的普遍应用能更加使资源的利用更合理更节约更安全。2).这部分对Hadoop的文件系统HDFS做了一些介绍，还有MapReduce相关的知识。Hadoop是怎么构架以及实现的原理通过与GFS 文件系统的比较更深入了解分布式系统的构架，3).先安装虚拟机，在虚拟机上安装ubuntu 11.04系统，然后安装java、ssh等Hadoop所需的环境，然后配置一下系统的环境变量，和Hadoop的配置文件，以便能运行Hadoop，最后用MapReduce的思想编一个分布式运行程序WordCount实例，我们只需要写出其Map类和Reduce的类就行，其他的分布运行的细节全部由Hadoop来实现。只需简单的几行代码，就可以让许多机器为你工作。2 云计算相关背
