《Centos7安装和配置hadoop2.7.3的流程和总结.doc》由会员分享，可在线阅读，更多相关《Centos7安装和配置hadoop2.7.3的流程和总结.doc（16页珍藏版）》请在金锄头文库上搜索。
1、CentOS7安装Hadoop2.7.3完整流程及总结一、前言配置一台master服务器，两台（或多台）slave服务器，master可以无密码SSH登录到slave。卸载centos7自带的openjdk,通过SecureCRT的rz命令上传jdk-7u79-linux-x64.tar.gz文件到服务器,解压安装JDK，解压安装Hadoop，配置hadoop的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件。配置好之后启动hadoope服务，用jps命令查看状态。再运行hadoop自带的wordcount程序做一个Hell
2、o World实例。二、准备工作我的系统：windows 10 家庭普通中文版cpu:intel i5 2.2GHz内存：8G64位操作系统需要准备的软件和文件（全部是64位安装包）1. 虚拟机：VMware 12 Pro 12.5.22. Centos7官网下载：https:/www.centos.org/download/ 选择DVD ISO(标准版)http:/isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1511.iso3. JDK 1.7及以上，官网下载：jdk-7u79-linux-x64.tar.g
3、z4. Hadoop 2.7.3下载地址：http:/www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz5. SecureCRT version 7.2.3三、安装过程提示：先创建一台虚拟机,安装好centos7系统，使用VMware 的克隆功能，克隆另外两台虚拟机。这样可以节省时间。3.1虚拟机设置当三台虚拟机安装好之后，获得它们的IP地址,并设置主机名，（根据实际IP地址和主机名）修改/etc/hosts文件内容为：192.168.186.128 master.hadoop192.168.186.129
4、 slave1.hadoop192.168.186.130 slave2.hadoop1、vi /etc/hosts命令修改，然后保存（vi的相关命令见引用来源16）2、more /etc/hosts查看3、重启后，hosts生效。命令： reboot now3.2 SSH免密码登录提示：我全程用的都是root用户，没有另外创建用户。每台服务器都生成公钥，再合并到authorized_keys。1) CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，#RSAAuthentication yes#PubkeyAuthentic
5、ation yes2) 输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置，3) 合并公钥到authorized_keys文件，在master服务器，进入/root/.ssh目录，通过SSH命令合并，（/.ssh/id_rsa.pub 是省略的写法，要根据实际路径来确定）cat id_rsa.pub authorized_keysssh root192.168.186.129 cat /.ssh/id_rsa.pub authorized_keysssh root192.168. 186.130 cat /.s
6、sh/id_rsa.pub authorized_keys4) 把master服务器的authorized_keys、known_hosts复制到slave服务器的/root/.ssh目录scp -r /root/.ssh/authorized_keys root192.168.186.129:/root/.ssh/ scp -r /root/.ssh/known_hosts root192.168.186.129:/root/.ssh/scp -r /root/.ssh/authorized_keys root192.168.186.130:/root/.ssh/scp -r /root/.
7、ssh/known_hosts root192.168.186.130:/root/.ssh/5) 完成后，ssh root192.168.186.129、ssh root192.168.186.130或者(ssh rootslave1.hadoop、ssh rootslave2.hadoop ) 就不需要输入密码直接登录到其他节点上。3.4 Secure CRT连接虚拟机1、在VMware中把三台虚拟机启动，如下图所示：2、打开SecureCRT,在一个session里连接三台虚拟机，就可以登录实现操作。Fiel-Quick ConnectionProtocol:ssh2 前提条件是在3.2
8、中实现了ssh免密码登录Hostname:192.168.186.128 连接的主机名Username: root 连接主机的用户名Connect 依次连接好三台虚拟机3、结果如下：4、上传windows系统中的文件到虚拟机中定位到要上传文件的目录下，输入命令：rz，回车后，弹出文件选择窗口，选择文件，点击add,再OK。文件就上传到当前服务器的当前目录下。rz命令如果没有安装，使用这个命令安装：yuminstalllrzsz 3.5 安装JDKHadoop2.7需要JDK7，由于我的CentOS自带了OpenJDK，所以要先卸载，然后解压下载的JDK并配置变量即可。1) 在/home目录下创
9、建java目录，然后使用rz命令，上传“jdk-7u79-linux-x64.gz”到/home/java目录下，2) 解压，输入命令，tar -zxvf jdk-7u79-linux-x64.gz3) 编辑/etc/profileexport JAVA_HOME=/home/java/jdk1.7.0_79export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin4) 使配置生效，输入命令，source /
10、etc/profile5) 输入命令，java -version，完成3.6 安装Hadoop2.7.3 3.6.1 提要1) secureCRT 上传“hadoop-2.7.3.tar.gz”，放到/home/hadoop目录下2) 只在master服务器解压，再复制到slave服务器（scp命令传输）3) 解压，输入命令，tar -xzvf hadoop-2.7.3.tar.gz4) 在/home/hadoop目录下创建数据存放的文件夹，tmp、dfs、dfs/data、dfs/name（hdfs-site.xml文件中会用到）3.6.2 配置文件1、/home/hadoop/hadoop
11、-2.7.3/etc/hadoop目录下的core-site.xml fs.default.name hdfs:/master.hadoop:9000 hadoop.tmp.dir /home/hadoop/tmp io.file.buffer.size 131702 2、 配置/home/hadoop/hadoop-2.7.3/etc/hadoop目录下的hdfs-site.xml dfs.namenode.name.dir file:/home/hadoop/dfs/name dfs.datanode.data.dir file:/home/hadoop/dfs/data dfs.repl
12、ication 1 dfs.namenode.secondary.http-address master.hadoop:50090 dfs.webhdfs.enabled true 3、配置/home/hadoop/hadoop-2.7.3/etc/hadoop目录下的mapred-site.xml mapreduce.framework.name yarn true mapreduce.jobtracker.http.address master.hadoop:50030 mapreduce.jobhistory.address master.hadoop:10020 mapreduce.jobhistory.webapp.address master.hadoop:19888 mapred.job.tracker http:/m
