《hadoop实验报告》由会员分享，可在线阅读，更多相关《hadoop实验报告（5页珍藏版）》请在金锄头文库上搜索。
1、基于hadoop的大规模文本处理技术实验专业班级：软件1102学生姓名：张国宇学号：201116040221SetupHadooponUbuntu11.0464-bit提示：前面的putty软件安装省略；直接进入JDK的安装。1. InstallSunJDK由于SunJDK在ubuntu的软件中心中无法找到，我们必须使用外部的PPA打开终端并且运行以下命令：sudoadd-apt-repositoryppa:ferramroberto/javasudoapt-getupdatesudoapt-getinstallsun-java6-binsudoapt-getinstallsun-java6-
2、jdkAddJAVA_HOMEvariable:先输入粘贴下面文字：sudovi/etc/environment再将下面的文字输入进去：按i键添加，esc键退出，X保存退出；如下图：exportJAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.26TestthesuccessofinstallationinTerminal:sudo./etc/environmentjava-version2. CheckSSHSettingsshlocalhost如果出现“connectionrefused”，你最好重新安装ssh（如下命令可以安装）：sudoapt-getins
3、tallopenssh-serveropenssh-client如果你没有通行证ssh到主机，执行下面的命令：ssh-keygen-tdsa-P-f/.ssh/id_dsacat/.ssh/id_dsa.pub/.ssh/authorized_keys3. SetupHadoop安装apache2sudoapt-getinstallapache2下载hadoop：sudowgethttp:/apache.cs.utah.edu/hadoop/common/hadoop-1.0.4/hadoop-1.0.4.tar.gz解压hadoop所下载的文件包：tarxvfzhadoop-1.0.4.ta
4、r.gz下载最近的一个稳定版本，解压。编辑/hadoop-env.sh定义java_home“use/library/java-6-sun-1.6.0.26”作为hadoop的根目录：Sudoviconf/hadoop-env.sh将以下内容加到文件最后：#Thejavaimplementationtouse.Required.exportJAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.26Pseudo-DistributedOperation（Single-NodeCluster）:将下面中间部分插入：（得到如图：）catconf/core-site.xml:
5、fs.default.namehdfs:/localhost:9000catconf/hdfs-site.xml:dfs.replication1catconf/mapred-site.xml:mapred.job.trackerlocalhost:9001Switchtohadooprootdirectoryandformatanewdistributedfilesystem:bin/hadoopnamenode-format注意：这一步一定不能掉，否则后面会由错！Youllgetinfolike“Storagedirectory/tmp/hadoop-ubuntu/dfs/namehasb
6、eensuccessfullyformatted.RemembethispathistheHDFShomedirectoryofnamenode.(你会得到提示：你已经成功格式化。)Startandstophadoopdaemons(启动和终止进程。):bin/start-all.sh(startthehadoop)bin/stop-all.sh(stopthehadoop)WebinterfacesfortheNameNodeandtheJobTracker:NameNodehttp:localhost:50070/=http:/IPaddress|domainname:50070提示：如果
7、前面没有格式化成功，这个网址会出现就不去的现象！如果进不去就先结束进程，重新格式化然后再开始进程。JobTracker-http:localhost:50030/=http:/IPaddress|domainname:500304. DeployAnExampleMap-ReduceJob创建路径/home/ubuntu/mapreduce/wordcount/,并在该目录下放置文本文件worldcount.txt。然后将这些文件复制到HDFSB录：bin/hadoopdfs-copyFromLocal/home/ubuntu/mapreduce/wordcount/tmp/hadoop-ub
8、untu/dfs/name/wordcountbin/hadoopdfs-ls/tmp/hadoop-ubuntu/dfs/name/wordcountRunthejob:bin/hadoopjarhadoop*examples*.jarwordcount/tmp/hadoop-ubuntu/dfs/name/wordcount/tmp/hadoop-ubuntu/dfs/name/wordcount-outputIftheoutputinfolooksnoproblem,copytheoutputfilefromHDFStolocaldirectory:bin/hadoopdfs-getmerge/tmp/hadoop-ubuntu/dfs/name/wordcount-output/home/ubuntu/mapreduce/wordcount/Nowyoucanopentheoutputfileinyourlocaldirectorytoviewtheresults.实验总结：1、 在实验过程中，发现对linux系统命令还不够熟练，在下面还需要多加练习；2、 感觉自己的基础水平还是不能达到自己满意程度，感觉对于很多东西都还是未知的，对于新的知识了解甚少，这个还需要在下面下很大的功夫；3、 Java和python了解的比较少，所以有些实验内容不能够实现。
