《实验2-熟悉常用的HDFS操作》由会员分享，可在线阅读，更多相关《实验2-熟悉常用的HDFS操作（6页珍藏版）》请在金锄头文库上搜索。
1、实验2熟悉常用的HDFS操作1实验目的1. 理解HDFS在Hadoop体系结构中的角色；2. 熟练使用HDFS操作常用的Shell命令；3. 熟悉HDFS操作常用的Java API。2实验平台操作系统：LinuxHadoop版本：2.6.0或以上版本JDK版本：或以上版本Java IDE： Eclipse3实验内容和要求1.编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户 指定是追加到原有文件末尾还是覆盖原有的文件；wengUbuntu:/usr/local/hadoop/bln$ ./hd
2、fs dfs -test -e text.txtnubuntu:/usr/Ucal/liddoop/btn$ echo 5?127wenQubuivtu:/usr/lccal/hadaap/bin$ ./hdfs dfs -appendloFile localtxt text.txt appendToFile: /usr/local/hadoop/bin/local-txt （疫有那个文件或目录）mnubuntu:yiisr/local/hadtKip/binS ./hdfs dfs -cp -f file:/hone/hadccp/local11xt text*txt匚p: file:/ho
3、ne/hadoop/1d匚al Axt: No such file or dire匚tory.L Problems 的auadoc 凰 Declaratian 曰 Console 丝 HDFS A pi Java Ap p lie dHon /u si/lib/jvmZj ava-7-op enj d k-d md 64/bi r/j a va （Dec 15, 20l6/text.txtS Problems Javadoc 曉 Declaration 旦 Console 辽cterminated HDFSApi Java Application/u5r/lib/jvm/ja7a-7-open
4、jdk-amd54/bin/ja7a (Dec 15r 20 log4j :WARN Please initinlizm the Log4j systen properly.I.og4j:WARN See http：/logging.apache.arg/logj/1.2/faqrhtml#noconfi( far wore inti /home/hadoop/tet.txt 已存在.將垂新命窖为：/hame/hadoop/text .txt_S下载完庞(3) 将HDFS中指定文件的内容输出到终端中;厂ff監 Problems JPvad口匚 陽 Declaration旦 Console 就
5、HDFSApi Java Applicadon /usr/ib/jvm/java-7-openjdk-amd64/bi(Vjava(Dec15, ?0164;58：hadoopkibuntL: /U5r/localia(iDDp/btn$ . /hdf s df s -cat text * txt hallo liadoopLog4j :WARN Please initialize the Log4j 5/steni properly. 凄取文件：/user/hadoop/text.txtlog4j :WARN See http：/logging.apache.org/l_og4j/1.2/i
6、aq.html#nacQnfig far more info. heAo hadaop读取亢匯(4) 显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;hadoopubuntu:/usr/local/hadcop/bln$ ./hdfs dfs ts text.txt -押-1 hadoop supergroup13 2016-1215 04:54 tex1口g4j:WARN Na anpenders could be fourd for Logger (Drg.apache.hadoop.conf.Configuration.( log4j:WARN Plea&e lnitia
7、Lize the lag4j system oroperLy.Iag4j:WARN See http:/logging.apache.Org/log4j/l.2/faq.htmltfnoconfig for more info. )8: hdis：/localhost：9000/user/hadoop/text.txt权限：rw-r-r-大小：13时1 司：2016-12-15 04:54:37(5) 给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建 时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信 息；rhadoopgubuntu:/usr/loca
8、l/hadcop/btnhdfs dfs -Le -r -h /user/hadoopI-rw-r-r-1 hfidoop supergroup13 2016-12-15 昭：54 /user/hadoop/text*txt HDFS A pi Java A ppIicaHon应apoj cj 4amd64/bin/j 目询(Dk 15, 201& 5:02:40 AMlogj iWARN Nd appenriers could be found far logger (arg.apacne .hadoDp.conf .CDnf igurati.an.deprt lagj:WARN Pleas
9、e initial ize the Log4j system pnoperljr.lagj ；WARN See http；/logging,apache,org/log4j/l,2/iaq,htil#naconfig for none info,(递扫)读取目录下所有文件的信忌：/user/hadoopS3渥:hdfs:/localhos-z ： 9009/u5er/hadoop/text. txtfiiFS: rw-r-r-大小：13时间：2016-12 15 04:54:37谏取完匯(6) 提供一个HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所 在目录不存在，则自动创建目录
10、；jhadoopubuntu:/usr/lccal/hadoop/bln$ */hdfs dfs -rm dirl/dir2/filename jrn: dirl/dir2/ffLename: No such file or directory昙 Problems 锁auadac 冏：Declaradon 曰匸onsole 处perjdk-amd6/birVjava (Dec 15r 2016 5:06:2! 1口gj:WAftN Nd appendsrs coud be found for logger (org.apache.badoop.conf.Configtration.c 1口g4
11、j:WAftN Please iritial i?e the log4j system proper!./.lagj:WARN See http：/lagging.apache.org/log4j/!.2/faq.htmlfnocanfig tor more into.创理文件夹；/user/hadoop/input创理as径：/user/hacioop/lnput/text.Txt(7) 提供一个HDFS的目录的路径，对该目录进行创建和删除操作。创建目录时， 如果目录文件所在目录不存在则自动创建相应目录；删除目录时，由用户指定 当该目录不为空时是否还删除该目录；|ha10Dpubuntu:/
12、ur/locaL/hadoop/bin$ * /hdfs dfs -mkdtr -p dlri/dtrz IhadocpQubuntu:/usr/Lacal/hadoop/btn$ ./hdfs dfs -rndir dirl/dir2 hadccpQubuitu:/usr/local/hadoopbi.nS ./hdfs dfs -rn -R dirl/dir2 jw: *di7diZ: Mu suth fiAe odi.匹tx#Problems O Javadoc 冏 Declaration 旦 Console 韶n DFSApi J ava AppUca t i ori /usr/lib
13、/jvrn/j ava-7-o p er)jd k-a m d ebirVjavatDecIS, 20 T 6 Log4j:warn No apperders could be found for tagger (org. apaclie.haJoop. conf .匚onfitjurat. Log4j:WARN Please iniTialize the Log4j system properly.Log4j:WARN See http：/logging.apache.arg/lcg4j/1.2/faq.html#noconfig for more info. 目秦不为生.不漏踪：/user/hadoop/input(8) 向HDFS中指定的文件追加内容，由用尸指定内容追加到原有文件的开头或结 尾；hadcopQutiuntu;/usr/Locaiyhadoop/btn$ ./hdfs
