《Hadoop+HBase+Zookeeper集群的配置》由会员分享，可在线阅读，更多相关《Hadoop+HBase+Zookeeper集群的配置（8页珍藏版）》请在金锄头文库上搜索。
1、Hadoop +HBase + Zookeeper集群的配置文档环境l OS ：ubuntu-10.04.2-desktopl Hadoop ：Hadoop-0.20.2l HBase ：HBase-0.20.6l Zookeeper ：Zookeeper-3.3.3l JDK ：JDK-1.6.0.24本集群有三台机器IP对应分别如下：192.168.9.128:ubuntu (namenode,SecondarNameNode,HMaster,HQuorumPeer,HRegionServer,DateNode)192.168.9.131:test1 (DataNode,HRegionSe
2、rver,HquorumPeer)192.168.9.132:test2(DataNode,HRegionServer,HquorumPeer)由于机器所限，为了模拟更多的节点，在Namenod节点上同时部署了DataNode，HRegionServer，SecondarNameNode，同时又作为HBase的主节点。Hadoop集群的部署详见Hadoop集群部署手册安装和部署HBase修改机器的hosts文件修改所有机器的/etc/hosts文件将下面的内容添加进去:192.168.9.128 ubuntu192.168.9.131 test1 192.168.9.132 test2安装通过
3、命令tar zxvf hbase-0.20.6.tar.gz加压到当前文件夹修改HBase的配置文件编辑所有机器上的hbase安装目录conf目录下的hbase-site.xml、hbase-default.xml、hbase-env.sh几个文件Hbase-site.xml编辑这个文件要注意hbase.rootdir参数，这个参数必须与你的hadoop集群里的core-site.xml文件里fs.default.name保持一致才可以。在就是hbase该项不识别机器的IP，只能使用机器的hostname才可以。Hbase.zookeeper.quorum个数必须为奇数。 hbase.root
4、dir hdfs:/ubuntu:54310/hbase hbase.cluster.distributed true hbase.master ubuntu hbase.zookeeper.quorum ubuntu,test1,test2 zookeeper.session.timeout 60000 hbase.zookeeper.property.clientPort 2222Hbase-default.xml这个配置文件只需修改前面的hbase.rootdir和hbase.cluster.distributed这两项 hbase.rootdir hdfs:/ubuntu:54310/
5、hbase hbase.master.port 60000 hbase.cluster.distributed false Hbase-env.sh修改代码如下export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.24export HBASE_HOME=/home/zhangfeng/hbase-0.20.6export PATH=$PATH:/home/zhangfeng/hbase-0.20.6/binexport HBASE_OPTS=$HBASE_OPTS -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcM
6、arkSweepGC -XX:+CMSIncrementalModeexport HBASE_MANAGES_ZK=trueexport HADOOP_HOME=/home/zhangfeng/hadoop-0.20.2export HBASE_MANAGES_ZK=true修改regionservers文件将所有的DataNode节点的主机名称加进去就可以了test1test2ubuntu安装Zookeeper在所有机器上安装Zookeeper，我的安装目录是个hbase及hadoop的根目录在同级通过命令 tar zxvf zookeeper-3.3.3.tar.gz然后修改zookeep
7、er安装目录下的conf下的zoo_sample.cfg，将其重命名为zoo.cfg。修改配置如下：# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinitLimit=10# The number of ticks that can pass between # sending a request and getting an acknowledgementsyncLimit=5# the di
8、rectory where the snapshot is stored.dataDir=/home/zhangfeng/zookeeper-3.3.3/data# the port at which the clients will connectclientPort=2181并在文件最后将所有的zookeeper服务添加上，如下：server.1=ubuntu:2888:3888server.2=test1:2888:3888server.3=test2:2888:3888到这里我们已经将三台机器的集群部署好了，下面我们看看我们部署的集群是否正确。首先启动hadoop集群：NameNode：Test1:DataNodeTest2:DataNode其次启动hbase(HMaster)Test1:HRegionServerTest2:HRegionServer整个集群启动正常，下面我们通过hbase 的命令行管理界面看看是否正常显示连接正常，可以创建数据表等。我们也可以通过WEB页面来管理查看HBase数据库。HMaster：http:/ubuntu:60010/master.jsp截图如下：
