《2022年搭建Hadoop+Hbase集群》由会员分享，可在线阅读，更多相关《2022年搭建Hadoop+Hbase集群（8页珍藏版）》请在金锄头文库上搜索。
1、搭建 Hadoop+Hbase集群平台软件工程研究所 2014 一、环境及目标：- 系统： Ubuntu 12.10 - Hadoop 版本： 1.0.4 - Hbase 版本： 0.94.8(hindex secondary index) - 节点配置(完全分布式集群 ) 静态 IP Master (job tracker) 192.168.0.200 namenode Slave (task tracker/data node) 192.168.0.201 Datanode1 Slave (task tracker/data node) 192.168.0.202 Datanode2 -
2、用户: hadoop 1.1 创建 hadoop 用户组; $ sudo addgroup hadoop 记下这里为hadoop 用户设置的密码，后面使用hadoop 用户登录时需要用到。1.2. 创建 hadoop 用户; $ sudo adduser -ingroup hadoop hadoop 1.3. 给 hadoop 用户添加权限，打开 /etc/sudoers文件; $ sudo gedit /etc/sudoers 1.4. 给 hadoop 用户赋予 root 用户同样的权限。在 root ALL=(ALL:ALL) ALL下添加如下内容： hadoop ALL=(ALL:AL
3、L) ALL 二、在 Ubuntu下安装 JDK 2.1 配置环境变量$ sudo gedit /etc/profile在文件的末尾加上如下内容，保存并关闭文件# for java export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 使设置生效：到此部JDK的配置就都完成了名师资料总结 - - -精品资料欢迎下载
4、- - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 8 页 - - - - - - - - - $ source /etc/profile为保证正确性，进行简单的测试$ java -version 2.2 修改默认 JDK sudo update-alternatives -install /usr/bin/ javajava/usr/lib/jvm/ jdk1.6.0_45/bin/ java 300 sudo update-alternatives -install /usr/bin /javacjavac /u
5、sr/lib/jvm/ jdk1.6.0_45/bin/ javac300 sudo update-alternatives -install /usr/bin/ jarjar /usr/lib/jvm/ jdk1.6.0_45/bin/ jar 300 以下两句可选（最好执行） ：sudo update-alternatives -config java sudo update-alternatives -config javac 2.3 修改机器名每当 ubuntu 安装成功时机器名都默认为：ubuntu ，但为了以后集群中能够容易分辨各台服务器， 需要给每台机器取个不同的名字。 机器名由
6、/etc/hostname文件决定。1. 打开/etc/hostname 文件; $ sudo gedit /etc/hostname 2. 将/etc/hostname文件中的ubuntu 改为对应机器，如主节点中，修改为namenode。 重启生效。3.修改/etc/hosts 文件 $ sudo gedit /etc/hosts 并且将每台机器的IP设置为固定 IP：三、安装 ssh服务ubuntu 一般只是默认安装了ssh-agent, 可以用如下命令查看：$ sudo ps -ef | grep ssh 如果只有ssh-agent 就需要安装 openssh-server了。$ su
7、do apt-get install ssh openssh-server 3.1 建立 ssh 无密码登录本机首先要转换成 hadoop 用户，执行以下命令： $ sudo su - hadoop 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 8 页 - - - - - - - - - ssh生成密钥有 rsa和 dsa两种生成方式，默认情况下采用rsa方式。1. 创建 ssh-key ， ，这里我们采用 rsa方式; $ ssh-keygen -t rsa -P 注
8、意： ssh-kengen 是用连字符连着的，千万不要分开。（注：回车后会在 /.ssh/下生成两个文件： id_rsa 和 id_rsa.pub 这两个文件是成对出现的）2. 创建授权文件 authorized_keys 进入/.ssh/目录下，发现开始是没有authorized_keys 文件的，可以使用以下两种方法：(1) 将 id_rsa.pub 追加到 authorized_keys授权文件中 ; $ cd /.ssh $ cat id_rsa.pub authorized_keys (2) 复制 id_rsa.pub 为 authorized_keys $ cp /.ssh/id_
9、rsa.pub /.ssh/authorized_keys 3. 登录 localhost; $ ssh localhost 4. 执行退出命令 (exit 或 CTRL+D); 权限要求： hadoop目录 755，.ssh目录 700，authorized_key 文件 600四、安装 hadoop 解压后修改 hadoop/conf/下几个文件：hadoop-env.sh 增加： export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45 core-site.xml fs.default.name hdfs:/namenode:9000 hadoop.tmp.di
10、r /home/hadoop/tmp mapred-site.xml mapred.job.tracker 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 8 页 - - - - - - - - - hdfs:/namenode:9001 hdfs-site.xml dfs.replication 3 dfs.data.dir /home/hadoop/tmp/data masters ：添加作为 secondarynamenode的主机名slaves ：添加作为 sla
11、ve的主机名，一行一个运行 hadoop 1. 进入 hadoop 目录下，格式化hdfs 文件系统，初次运行hadoop 时一定要有该操作，$ cd /usr/local/hadoop/ $ bin/hadoop namenode -format 2. 启动 bin/start-all.sh进入 bin 目录下，$ ./start-all.sh 关闭：同目录下 ./stop-all.sh3. 检测 hadoop 是否启动成功$ jps 4. Web查看http:/localhost:50070/ web UI of theNameNode daemon http:/localhost:500
12、30/ web UI of theJobTracker daemon http:/localhost:50060/ web UI of theTaskTracker daemon 五、安装 Hbase 需要将 hadoop/lib 下文件全部复制到hbase/lib 目录下。解压后修改 hbase/conf/下几个文件：hbase-env.sh export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45/ export HBASE_CLASSPATH=/home/hadoop/hadoop-1.0.4/conf:/home/hadoop/hbase-0.94.8名师资料
13、总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 8 页 - - - - - - - - - /libs export HBASE_PID_DIR=/home/hadoop/tmp/hbase/pids export HBASE_OPTS=-ea -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode export HBASE_MANAGES_ZK=true /true 为使用 Hbase自带 ZK， false为使用独立 ZK hbase-
14、site.xml hbase.rootdir hdfs:/namenode:9000/hbase hbase.cluster.distributed true hbase.master hdfs:/namenode:60000 hbase.tmp.dir /home/hadoop/tmp/data hbase.zookeeper.quorum namenode,datanode1,datanode2 hbase.zookeeper.property.dataDir $hbase.tmp.dir/zookeeper hbase.use.secondary.index true 名师资料总结 -
15、- -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 8 页 - - - - - - - - - hbase.coprocessor.master.classes org.apache.hadoop.hbase.index.coprocessor.master.IndexMasterObserver hbase.coprocessor.region.classes org.apache.hadoop.hbase.index.coprocessor.regionserver.IndexRegion
16、Observer hbase.coprocessor.wal.classes org.apache.hadoop.hbase.index.coprocessor.wal.IndexWALObserver regionservers: 添加作为 RS的主机名，一行一个 (实验环境 namenode 没有添加 ) datanode1 datanode2 1. 启动 bin/start-hbase.sh 2.进入 shell :bin/hbase shell六、注意事项6.1 权限问题：.ssh 目录权限： 700 authorized_key:600 /home/hadoop:755 6.2 格式
17、化 HDFS 在 bin/hadoop namenode -format 前必须将各节点tmp文件清空！6.3 source问题如果每次都需要 source profile: 直接在 .bashrc 文件中加入 source /etc/profile 这行语句名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 8 页 - - - - - - - - - 6.4 替换 Jar 包-将 hbase/lib下的 hadoop-core 删除，替换为 hadoop目录下的 core
18、版本-将 hadoop/lib下所有 jar 包复制到 hbase/lib下-将 hbase/lib下所有 jar 包复制到 hadoop/lib下-将 hadoop/lib 、hbase/lib、hadoop-core 、hbase-0.94.8.jar全部加入Eclipse 的 Build Path中。6.5 Kettle出现 unable to connect Hbase Host port:?,无法链接Hadoop与 Hbase的问题将 hadoop/lib,hbase/lib下的 jar 包，放入/data-integration/plugins/pentaho-big-data-p
19、lugin/hadoop-configurations/hadoop-20/lib/client 目录下 ，并且替换对应的hadoop-core.jar包。七、文件配置/etc/hosts 127.0.0.1 localhost 192.168.0.200 namenode 192.168.0.201 datanode1 192.168.0.202 datanode2 /etc/profile # for hadoop export HADOOP_HOME=/home/hadoop/hadoop-1.0.4 export HBASE_HOME=/home/hadoop/hbase-0.94.8
20、 # for java export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin: $PATH: 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 8 页 - - - - - - - - - /etc/sudoers # User privilege specification root ALL=(ALL:ALL) ALL hadoop ALL=(ALL:ALL) ALL 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 8 页 - - - - - - - - -
