《云计算与大数据技术实验报告》由会员分享，可在线阅读，更多相关《云计算与大数据技术实验报告（10页珍藏版）》请在金锄头文库上搜索。
1、实验室：计算机基础机号：B48实验日期： 2018 年 月 日学号000姓名000班级000课程名称云计算与大数据技术实验项目名称Hadoop开发环境的搭建任课教师指导教师实验组别 第组同组者教师评语及成绩：实验成绩：教师签字：（请按照实验报告的有关要求书写，一般必须包括：1、实验目的；2、实验内容；3、实验步骤与方法；4、 实验数据与程序清单；5、出现的问题及解决方法；6、实验结果、结果分析与体会等内容。）软件包：hadoop-2.7.2.tar.gzhadoop-eclipse-plugin-2.7.2.jarhadoop-common27.1-bin.zipeclipsejdk1.8.4
2、5hadoop-2.7.2 （linux 和 windows 各一份）Linux系统（centos或其它）Hadoop安装环境准备环境：安装Hadoop，安装步骤参见Hadoop安装早节。安装 eclipse。搭建过程如下：1. 将 hadoop-eclipse-plugin-2.7.2.jar 拷贝至U eclipse/dropins 目录下。2. 解压 hadoop-2.72tar.gz 到 E 盘下。3. 下载或者编译 hadoop-common-2.7.2 （由于 hadoop-common-2.7.1 可以兼容 hadoop-common-2.7.2,因此这里使用hadoop-com
3、mon-2.7.1），如果想编译可参考相关文早。000姓名000班级000实验名称学号Hadoop开发环境的搭建容称慘改日期bin.etc.hadoop-cornmon-2.7.1-bin includeM lib.libexecbin.share h adocp-com mon-2.2.0-bin_3 2b it rar 滝 h a doop-com m on -2.2.0-b i n- &4b it ra rh adoop- com mon -2.7.1 - b i n.zi p,UCENSE.txtNOTICE.txtREADME.txt2O16/a/17 13:052O1S/S/17
4、1L232O16/&/17 19:042O16/S/17 11:232016/8/17 11:232O16/S/17 11:232016/8/17 11:232O16/&/17 11:232015/3/24 Wt522015/3/24 9:192O16/a/17 1P：O12016/1/26 &202016/1/25 &.202016/1/25 &20S?(快文彳按WinRAR廨文件WinRAR铮丈件WinRAR ZIP压谊241 -763 IE:hadoop-2.7.2bin面，hadoop.dll4. 将hadoop-common-2.7.1下的文件全部拷贝到 system32下面也要放一
5、个，否则会报下图的错误:5.LiDU C 一 丄Ul_t.LL1Ull.LtL.-一b.L L- f 1J 丄 JJ三丄.7Urorrrrienri?r :Hfldoop Mdp/RfidLXf学号000姓名000班级000实验名称Hadoop开发环境的搭建并配置系统环境变量HADOOP HOME：E : h.adoop-2. T. E砂 CUENT I. . . E Ah.acFortalClientSE ； h.adoQp-2. 7.2E Ai dhl. 3.45新建|typ创卄別Data LManaqementInstJil/Jpdarte确定学号000姓名000班级000实验名称Had
6、oop开发环境的搭建package com.hadoop.example;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hado
7、op.mapreduce.Mapper;importorg.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser;public class WordCount public static class TokenizerMapper exte
8、ndsMappervObject, Text, Text, IntWritable private final static IntWritable one = new IntWritable(l);private Text word = new Text();public void map(Object key, Text value, Context context) throws IOException, InterruptedException StringTokenizer itr = new StringTokenizer(value.toString();System.out.p
9、rint(-map: + value.toString() + n);while (itr.hasMoreTokens() word.set(itr.nextToken();System.out.print(-map token: + word.toString() + n); context.write(word, one);System.out.print(-context: + word.toString() + , + one.toString() + n);public static class IntSumReducer extendsReducervText, IntWritab
10、le, Text, IntWritable private IntWritable result = new IntWritable();public void reduce(Text key, IterablevIntWritable values,Context context) throws IOException, InterruptedException int sum = 0;for (IntWritable val : values) sum += val.get();学号000姓名000班级000实验名称Hadoop开发环境的搭建result.set(sum); context
11、.write(key, result);System.out.print(-reduce: + key.toString() + , + result.toString() + n); public static void main(String args) throws Exception System.setProperty(hadoop.home.dir, E:hadoop-2.7.2);Configuration conf = new Configuration。；String otherArgs = new GenericOptionsParser(conf, args) .getRemainingArgs(
