《分布式实验报告》由会员分享，可在线阅读，更多相关《分布式实验报告（11页珍藏版）》请在金锄头文库上搜索。
1、南京财经大学课程论文考试（封面）2014 2015 第 2 学期课程名称：分布式计算综合实验任课教师：钱钢 学生姓名：郑雅雯 班 级：计算机1202 学 号：2120122349论文题目：li nu环境下的hadoop应用内容摘要:本文就介绍了 linux环境下的分布式计 算平台Hadoop的部署配置及应用编程关键词：li nux Hadoop部署应用一、简介hadoopH是Apache软件基金会旗下的一个开源分布式计算平台对于Hadoop的集 群来讲，可以分成两大类角色：Mas ter和Salve。分布式集群的主要任务包括了：1、分布式存储系统HDFS (Hadoop Dis tribu t
2、ed File Sys tern)分布式存储系 统，它是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务 器，管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的DataNode 管理存储的数据。可将HDFS看成一个容量巨大、具有高容错性的磁盘，提供了高 可靠性、高扩展性和高吞吐率的数据存储服务。2、资源管理系统 YARN(Yet Another Resource Negotiator)，它是 Hadoop 2.0 新增系统,负责集群的资源管理和调度，使得多种计算框架可以运行在一个集群中， 负责集群资源的统一管理和调度3、分布式计算框架MapRedu
3、ce，它具有易于编程、高容错性和高扩展性等优 点o MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群 从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这 些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的 失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker 接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务 并监控TaskTracker的执行。NoSQL数据库指的是不使用关系模型存储数据的一种新型数据库。能解决传统关 系数据库不能解决的高并发读写、
4、高可扩展性和高可用性的问题o NoSQL数据存储 不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库 无法比拟的性能优势二、Jdk配置将jdk-7u75Tinux-i586. tar.gz解压到本地目录，并配置java环境变量(java -version)1、奖tar包解压到/usr文件夹tar -zxvf jdk-7u75Tinux-i586.t ar.gz -C /usr2、将解压后的文件更名为jdk1.7mv xxxx jdk1.7drwxr-sr-x drwxr-xr-x drwxr-xr-x -nt- r- r- -rw-r- dr-xi-Kr-x drwxr-
5、xr-x rirvxr-xr-x dr-xr-sr-x drvxr-Kr-x drwxr-xr-x Irvxrwxrwx_L32UU JrootU LFroot3rootrootBLucp1431rootroot1rootroot99rootroot22rootroot11rootroot2motroot173rootroot4rootroot1rootroot丄 I“ j r uu i ci iu j a i 丄弼fj Apr 9 12:50 496 Apr 94895 Dec IB 18:32 L25239296 Apr 1 21:34 1434-13004 Apr 2 00:183086
6、4 Apr 2勺 04:33 12288 Apr 29 04:33W96 Apr 9 12:32L228S Apr 29 04:334096 Apr 9 06:124S96 Apr 3 12:3213 Apr 9 12:32includejavajdkl.7j dk-7 u75-linux-15.rpnjdk-7u75-linux-15M. tar.gz libli.lexeclocalsbinsharesrctun - H/Vc f/trc3、修改配置文件vi /etc/profile甜 /etc/p roti lieexpo-t JAVA_H0ME=/usr/jdkl.7export JR
7、E_HOME=/usr/jdkl.7/jreexpo rt CLASSPATH=.: CLASSPATH : $JAVA_H0HEREHOHE/lib export PATH=JJAVA_HOME/bin：5JRE_HOHE/bin;$PATH;$H0HE/bin三、Hadoop单机版部署chown -R abc:abc hadoop2.6*IU I W A I A II A- I UU Ldrwxr-xr-x. IS abc -rw-r-r.1 abc1、解压hadoop安装包到/usr/hadoop2.6，并把文件夹的读权限分配给普通用户1 7P Labca beTHJ JU. uJ 丄2
8、丄丄 y CIIIIC J4096 Apr 29 84:13 hadoop-2.fi.0195257694 Mar 29 95:41 hadoop-2.fi.9.tar.gz2、设置ssh免密码登录(1) 、生成其无密码密钥对id_rsa和id_rsa.pub sshkeygen -t rsa -P |abc(aZHYWssh-keygen -t rsa -PGenerating public/private rsa key pair.Enter file in which to save the key (/home/abc/.ssh/id rsa): /home/abc/.ssh/id_r
9、sa already exists.Overwrite (y/n)? yYour jlM已ntlfication has b已已n saved in /home/abc/.ssh/id rsa. Your public key has been saved in /home/abc/.ssh/id rsa.pub. The key fingerprint is:22: flb: 68:2d: 02: 5a: 65:37: bf: 2d:47: e6: de: 7f: 5d: ba abc(2ZHYWThe keys randomart image is:+ - RSA 2048+o o0.0.
10、 + .血BQ.| +D.S + . 0 .0 . . 0 . 0 .E(2) 、id_rsa.pub追加到授权的key里cat /.ssh/id_rsa.pub /.ssh/authorized_keys-rw.1ababc789May1929:44authorized-rw1abcabc1675May2817:22id rsa-rw-r-r-.iabcabc390May2817:22id rsa.pub-rw-r -r-.1abcabc1182May1921:05krown hostsabcZHYW.sshB 1LancHYW j$ ca /nome/anc/ .ssn abcZHYW .
11、sshJi Utotal 16(3) 验证是否设置成功ssh localhostabcQZHYW $ cat /.ssh/id_rsa.pub -/.ssh/authorized_keys abctaZHYW $ ssh localhost-Last login： Thu May 28 3.7:25:48 2015 from localhost abctSZHYW $3、修改4个.xml文件abccaZHYW hadwp$ cd /iisr/hadQop-2.6.9/etc/hadoop/abctaZHYW hadoopK 11total 152rw-r-r-.1abcabc4436Nov13
12、2014cap3city-scheduler.xmlrw-r-r-.1abcabc1335NOV132014configuration.xslrw-r-r-.1abcabc318NOV132014container-executor.cfgrw-r-r-.1abcabc962May1920:50con-site, xmlrw-r-r-.1abcabc3670NOV132014had3op-env.cmdrw-r-r-.1abcabc4224Apr2519:41hadoop-env.shrw-r-r-.1abcabc2598Noy132014hadsop-metrics2.propertiesr
13、w-r-r-.1abcabc249SNov132014hadDap-metrics.prop已ti已srw-r-r -.1abcabc9683Nov132014hadaop-policyxmlrw-r-r -.1abcabc11551920:56hdf5-site.xmlrw-r-r-.1abcabc1449Nov132S14httpfs-已nv.shrw-r-r-.1abcabc1657Nov132014httpfs-lag4j.properti已srw-r-r -.1abcabc21Nov132014httpfs-signature.sec retrw-r-r-.1abcabc620Nov132014httpfs-site.xmlrw-r-r-.1abcabc3523Nov132014kms-acls.xmlrw-r-r-.1abcabc1325Nov132014kms-env.shrw-r-r-.1abcabc1631Nov132014kms-log-j .propertiesrw-r-r-.1ahrahr5511Nnynkms-si tp.xmlrw-r-r-.1abcabc11291Nov132014log*j.propertiesrw-r-r-.1abcabc938NOV132014(napred-e
