《hadoop配置》由会员分享，可在线阅读，更多相关《hadoop配置（21页珍藏版）》请在金锄头文库上搜索。
1、安装hadoop集群应使所有节点使用同一用户名(先设置ssh免密码访问localhost，再安装jdk，在安装hadoop)sudo apt-get update安装ssh sudo apt-get install ssh（hadoop02ubuntuserver2中hadoop02代表用户名；ubuntuserver2代表机器名）1、hadoop02ubuntuserver2:/root$ ssh-keygen -t rsa 命令，出现一下结果，我一直按Enter，按到最后， Generating public/private rsa key pair. Enter file in whic
2、h to save the key (/home/hadoop02/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/hadoop02/.ssh/id_rsa. Your public key has been saved in /home/hadoop02/.ssh/id_rsa.pub. The key fingerprint is: 0f:7e:45:6c:40:7c:9d:46
3、:c5:12:31:09:5c:2c:4a:aa hadoop02ubuntuserver2 The keys randomart image is: +- RSA 2048-+ | oo.*B.| | oo+ B.| | o o+o . | | . .o | | .S . | | E. o . | | . o | | . | | | +-+ 2、hadoop02ubuntuserver2:/root$ cat .ssh/id_rsa.pub .ssh/authorized_keys注意：cat 与.ssh之间有空格，id_rsa.pub与之间有空格3、hadoop02ubuntuserver
4、2:$ cd .ssh4、hadoop02ubuntuserver2:$ ls -aauthorized_keys id_rsa id_rsa.pub（ls出来的结果)5、hadoop02ubuntuserver2:/.ssh$ ssh localhost （进行检测，是否可以访问本机无密码登录，本机无密码登录就做到这一步就可以了 ，下面的是两台电脑之间的无密码登录，先不用做）6、把hadoop02中的id_rsa.pub拷贝到hadoop01中（注意将目录切换到.ssh目录下）hadoop02ubuntuserver2:/.ssh$ scp id_rsa.pub hadoop01192.16
5、8.1.135:/home/hadoop01注意：hadoop01192.168.1.135在ubuntu操作系统中必须这样写，否则就会出现错误。这可能跟其他的linux操作系统不同，hadoop01是你的登录名，192.168.1.135是IP地址。这样就可以传递成功！7、hadoop01hadoop-master:$ cat id_rsa.pub .ssh/authorized_keys注意这个要在/hadoop01目录中，完成这部之后，hadoop02访问hadoop01就不需要密码访问了。8、测试一下：在hadoop02中，ssh hadoop01192.168.1.135 测试一下是
6、否直接可以控制hadoop01了！参考链接：http:/ hostname（设置集群,先只要配置自己的电脑）如果这一步使用的用户是非root，在命令前要加sudo 。建议继续在root下修改。主控机hapmaster也不需要此步骤。SHELL$ sudo gedit /etc/hostname （先设置hostname为ld，后期再修改成我的机器名）3）配置hosts无论主控机还是从属机，现在开始都需要单独配置。注意每次重启系统后一定要确认一下。SHELL$ sudo gedit /etc/hosts 127.0.0.1 localhost （注意：这里必须是127.0.0.1，对应local
7、host）192.168.1.240 hapmaster（202.206.249.141 ld）（暂时就写这两条）192.168.1.241 hapslave1192.168.1.242 hapslave2192.168.1.243 hapslave3192.168.1.244 hapslave4192.168.1.245 hapslave5192.168.1.246 hapslave6注意：配置hostname和hosts后需重启系统。安装jdk1、 安装JDK1.使用超哥安装包里给的jdk1.8的安装包，现将jdk安装包放在主文件夹下新建一个setup文件夹的里面。2. sudo su -
8、切换到root用户，参考”man sudo”。这个命令会切换到root用户，也就是最高权限的用户。因为后面要执行的jdk安装操作是在/usr/local目录下进行的，用root用户更方便。（这里有可能会出现 su 认证失败 这时需要 sudo passwd 设置新密码123456 再次su - 输入新密码123456就可以切换到root用户下）3. cd /usr/local/lib（jdk安装目录要一致）转到 /usr/local/lib目录下。4. tar -zxvf /home/hadoop/setup/jdk-8u45-linux-x64.tar.gz解压到当前目录（/usr/loca
9、l/lib）下。解压缩完毕之后，执行ls，能看到当前目录下有一个新目录叫jdk1.8.0_455. 配置环境变量： 5.1”cd /etc/profile.d”转到/etc/profile.d目录下“touch java.sh”创建java.sh 5.2”sudo gedit java.sh”（这里gedit如果不能用 就用vim vim需要安装，自己百度怎么安装vim）添加内容：export JAVA_HOME=/usr/local/lib/jdk1.8.0_45export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.ja
10、r:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin保存文件，然后退出。Linux系统，开机后会自动执行/etc/profile配置文件。export命令设置或者显示环境变量。上述三行代码，分别设置了JAVA_HOME, CLASSPATH, PATH这三个环境变量。 5.3chown root:root -R /usr/local/lib/jdk1.8.0_45chown命令，更改目录或者文件的拥有者。这条命令将 jdk1.8.0_45目录的拥有者改为root组的root用户。”-R”参数是递归的意思，将 jdk1.8.0_45
11、目录下连同子目录都进行更改。 5.4 chmod 755 -R /usr/local/lib/jdk1.8.0_45chmod命令，更改目录和文件的模式。本命令将jdk1.7.0_40的模式改为拥有者可以读写执行，同组用户和其他用户可读可执行不可写。“-R”参数同上，也是递归的意思。 5.5 source /etc/profile如果更改了/etc/profile配置文件，它只会在新的终端里生效，现在正在使用的终端是不会生效的。如果想让它在正使用的终端也生效，需要用source命令运行一下配置文件。这条命令会让刚才的三个环境变量立即生效。这条命令也可以简写成”. /etc/profile”。
12、5.6 java -version这条命令检查jdk安装是否成功。运行这条命令，只要没有报错就表明安装成功了。会出现jdk安装版本就说明安装成功二 、Hadoop分布式安装配置1，hadoop安装tar zxvf hadoop-2.6.0.tar.gz（解压Hadoop压缩文件）mv hadoop-2.6.0 /hadoop-2.6.0（将hadoop文件夹复制到/【根】目录下）chown -R hadoop:hadoop /hadoop-2.6.0 # 更改权限2.hadoop环境vi /etc/profile在文件中加入以下内容#hadoop 环境export HADOOP_HOME=/h
13、adoop-2.6.0export HADOOP_LOG_DIR=/hadoop-2.6.0/logsexport PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbinexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport HADOOP_CONF_HOME=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_HOME=$HADOOP_HOMEsource /etc/profile3.hadoop基础配置这下面所有的配置文件均在hadoop2.6.0文件夹下的etc文件夹下的hadoop文件夹里面，所以操作之前请先cd /hadoop2.6.0/etc/hadoop1配置文件修改-#hadoop-env.shvi hadoop-env.shexport JAVA_HOME=/usr/local/lib/jdk1.8.0_45
