《cdh5.1.0hadoop-2.3.( 2+3 )0完全分布式集群配置及ha配置》由会员分享，可在线阅读，更多相关《cdh5.1.0hadoop-2.3.( 2+3 )0完全分布式集群配置及ha配置（19页珍藏版）》请在金锄头文库上搜索。
1、Hadoop-2.3.0-cdh5.1.0 完全分布式集群配置及 HA配置（冰峰）方式: 2 个 master + 3 个 slave hadoop-2.3.0-cdh5.1.0 完全分布式集群配置 HA 配置重点说明:为了部署 HA 集群，应该准备以下事情：* NameNode 服务器：运行 NameNode 的服务器应该有相同的硬件配置。* JournalNode 服务器：运行的 JournalNode 进程非常轻量，可以部署在其他的服务器上。注意：必须允许至少 3 个节点。当然可以运行更多，但是必须是奇数个，如 3、5、7、9 个等等。当运行 N 个节点时，系统可以容忍至少 (N-1)/
2、2 个节点失败而不影响正常运行。一、安装前准备：操作系统：CentOS 6.5 64 位操作系统环境：jdk1.7.0_45 以上，本次采用 jdk-7u72-linux-x64.tar.gzmaster1 192.168.100.151 namenode 节点master2 192.168.100.152 namenode 节点slave1 192.168.100.153 datanode 节点slave2 192.168.100.154 datanode 节点slave3: 192.168.100.155 datanode 节点注：Hadoop2.0 以上采用的是 jdk 环境是 1.7,
3、Linux 自带的 jdk 卸载掉，重新安装下载地址：http:/ zookeeper-3.4.5-cdh5.1.0.tar.gz下载地址：http:/ 安装1、检查是否自带 jdkrpm -qa | grep jdkjava-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 2、卸载自带 jdkyum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 安装 jdk-7u72-linux-x64.tar.gz在 usr/目录下创建文件夹 java,在 java 文件夹下运行tar zxvf j
4、dk-7u72-linux-x64.tar.gz解压到 java 目录下rootmaster01 java# lsjdk1.7.0_72三、配置环境变量远行 vi /etc/profile# /etc/profile# System wide environment and startup programs, for login setup# Functions and aliases go in /etc/bashrcexport JAVA_HOME=/usr/local/java/jdk1.7.0_65export JRE_HOME=/usr/local/java/jdk1.7.0_65/
5、jreexport CLASSPATH=/usr/local/java/jdk1.7.0_65/libexport PATH=$JAVA_HOME/bin: $PATH保存修改，运行 source /etc/profile 重新加载环境变量运行 java -versionrootmaster01 java# java -versionjava version 1.7.0_72Java(TM) SE Runtime Environment (build 1.7.0_72-b13)Java HotSpot(TM) 64-Bit Server VM (build 24.55-b03, mixed m
6、ode)Jdk 配置成功四、系统配置预先准备 5 台机器，并配置 IP,以下是我对这 5 台机器的角色分配。ip 地址 主机名 NameNodeJournalNode DataNode ZK HMster HRegionServer192.168.100.151 Master1 是主 是 是 是192.168.100.152 Master2 是从 是192.168.100.153 Slave1 是 是 是 是192.168.100.154 Slave2 是 是 是 是192.168.100.155 Slave3 是 是 是journalnode 共享文件集群,这个配置要注意 ,保证是奇数个子节
7、点 ,具体在哪几台无关ZooKeeper 保证是奇数个子节点,具体在哪几台无关关闭防火墙chkconfig iptables off(永久性关闭)配置主机名和 hosts 文件rootmaster01 java# vi /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4:1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.100.151 master1192.168.100.
8、152 master2192.168.100.153 slave1192.168.100.154 slave2192.168.100.155 slave3按照不同机器 IP 配置不同的主机名SSH 无密码验证配置ssh-keygen -t rsa /每个节点都要执行cp id_rsa.pub authorized_keys /主节点执行就行.之后直接 scp 到其他节点即可 4.ss-copy-id -i master1 /在 master2 slave1 slave2 slave3 节点上都执行一次或者执行:在 master1 上执行:scp -r /.ssh/authorized_keys
9、 master2:/.ssh/ scp -r /.ssh/authorized_keys slave1:/.ssh/ scp -r /.ssh/authorized_keys slave2:/.ssh/ scp -r /.ssh/authorized_keys slave3:/.ssh/ rootslave01 # 免密码登陆不同节点,手动登陆时已被写入免密码登陆Master1-master1 Master1-slave1 Master1-slave2 Master1-slave3Master2-master2 Master2-slave1 Master2-slave2 Master2-sla
10、ve3执行相同的操作。五、安装 Hadoop建立文件目录 /usr/local/cloud cloud 下创建文件夹:mkdir data 存放数据Data 下 mkdir logs 日志文件解压 tar zxvf haooop 原文件, mv hadoop* hadoop解压 tar zxvf zookeeper 原文件 mv zookeeper* zookeeper-注意环境变量的配置-export JAVA_HOME=/usr/local/java/jdk1.7.0_72export JRE_HOME=/usr/local/java/jdk1.7.0_72/jreexport ZOOKE
11、EPER_HOME=/usr/local/cloud/zookeeperexport HADOOP_HOME=/usr/local/cloud/hadoopexport CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/*.jar:$JAVA_HOME/jre/lib/*.jarExport PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH-rootslave01 cloud# lsdata hadoop zookeepe
12、r5.1、配置 hadoop-env.sh进入到/usr/local/cloud/hadoop/etc/hadoop 目录下配置 vi hadoop-env.sh hadoop 运行环境加载export JAVA_HOME=/usr/local/java/jdk1.7.0_72在末尾添加两行:export HADOOP_COMMON_LIB_NATIVE_DIR=/usr/local/cloud/hadoop/lib/nativeexport HADOOP_OPTS=-Djava.library.path=/usr/local/cloud/hadoop/lib注意此两行是为了解决如下情况的:浏
13、览器输入 http:/master1:9000/ 显示如下的一段文字，It looks like you are making an HTTP request to a Hadoop IPC port. This is not the correct port for the web interface on this daemon.5.2、配置 core-site.xmlfs.defaultFShdfs:/nn1fs.default.name # 如果想上传数据就启用 hdfs 存文件配置,才可以hdfs:/master1:9000hadoop.tmp.dir/usr/local/cloud
14、/data/hadoop/tmphadoop.proxyuser.root.hostsmaster1hadoop.proxyuser.root.groups*ha.zookeeper.quorum 这里要和 hdfs-site.xml 里保持一致master1:2181,slave1:2181,slave2:2181(2)hdfs-site.xml 配置dfs.namenode.name.dir/usr/local/cloud/data/hadoop/dfs/nndfs.datanode.data.dir/usr/local/cloud/data/hadoop/dfs/dndfs.suppor
15、t.append #做优化使用的配置部分truedfs.datanode.max.xcievers4096dfs.replication3dfs.webhdfs.enabledtruedfs.permissionsfalsedfs.nameservicesnngdfs.ha.namenodes.nngnn1,nn2dfs.namenode.rpc-address.nng.nn1master1:9000dfs.namenode.rpc-address.nng.nn2master2:9000dfs.namenode.http-address.nng.nn1master1:50070dfs.namenode.http-address.nng.nn2master2:50070dfs.namenode.servicerpc-address.nng.nn1master1:53310dfs.namenode.servicerpc-address.nng.nn2master2:53310dfs.namenode.shared.edits.dir qjournal:/master1:8485;slave1:8485;slave
