《hypertable_集群部署》由会员分享，可在线阅读，更多相关《hypertable_集群部署（11页珍藏版）》请在金锄头文库上搜索。
1、Fedora 下 Hypertable 集群配置目 录0 集群网络环境介绍 .11 SSH无密码验证配置 .11.1 安装和启动 SSH协议 .21.2 配置 Master无密码登录所有 Slave .21.3 配置每个 Slave无密码登录 Master .32 JDK安装和 Java环境变量配置 .32.1 Ubuntu 8.10下安装 JDK 1.6 .32.2 Java环境变量配置 .33 Hadoop集群配置 .44 Hadoop集群启动 .65 Hypertable 的配置安装6 capistrano 安装 7 Hypertable 集群启动0 集群网络环境介绍集群包含三个节点：1
2、 个 master，2 个 slave，节点之间局域网连接，可以相互 ping通。节点 IP地址分布如下：Master:192.168.1.111Slave1:192.168.1.94Slave2:192.168.1.93三台节点上均是 fedora系统,在每个机器下配置/etc/hosts在后面加入192.168.1.111 master192.168.1.93 slave1192.168.1.94 slave2保存退出1 SSH 无密码验证配置Hadoop需要使用 SSH协议，master 将使用 SSH协议启动 master和 slave进程.1.1 安装和启动 SSH 协议所有机器上安
3、装 SSH协议并启动服务，在所有机器上执行以下命令:$ yum install ssh 安装 SSH协议$ yum install rsync命令执行完毕，各台机器之间可以通过密码验证相互登陆。1.2 配置 Master 无密码登录所有 Slave（删除.ssh 文件夹（不是删除 ssh命令的命令）的命令 rm rf .ssh ）(0)原理Master作为客户端，要实现无密码公钥认证，连接到服务端 slave上时，需要在 master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到 slave上。当 master通过 ssh连接 slave时，slave 就会生成一个随机数并用 ma
4、ster的公钥对随机数进行加密，并发送给 master。master 收到加密数之后再用私钥进行解密，并将解密数回传给 slave，slave 确认解密数无误之后就允许 master进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端 master公钥复制到 slave上。(1)所有机器上生成密码对所有节点（master and slave）上执行以下命令:rootcast:$ ssh-keygen -t rsa Generating public/private rsa key pair.Enter file in which to save the key (
5、/root/.ssh/id_rsa): 默认路径Enter passphrase (empty for no passphrase): 回车，空密码Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa.Your public key has been saved in /root/.ssh/id_rsa.pub.这将在/root/.ssh/目录下生成一个私钥 id_rsa和一个公钥 id_rsa.pub。所有节点上执行以下命令:rootcast:$ chmod 755 .ssh
6、给予目录权限，这不是必须的进入.ssh 目录rootcast:$ cd .ssh在 master节点上做如下配置rootcast:/.ssh$ cp id_rsa.pub authorized_keys master的公钥rootcast:/.ssh$ chmod 644 authorized_keys使用 SSH协议将 master的公钥信息 authorized_keys复制到所有 Slave的.ssh目录下(.ssh 下最初没有 authorized_keys，如果有，则需要复制追加，后面会讲到如何追加)。rootcast:$ scp authorized_keys 192.168.1.
7、93:/root/.ssh rootcast:$ scp authorized_keys 192.168.1.94:/root/.ssh 这样配置过后，master 可以无密码登录所有 slave，可以通过命令“ssh 192.168.1.94”来验证。1.3 配置每个 Slave 无密码登录 Master(0)原理Master连接 slave时 master是客户端，需要将 master上的公钥复制到slave上，那么，如果 slave主动连接 master，slave 是客户端，此时需要将slave上的公钥信息追加到 master中的 authorized_keys之中。(此时，由于mas
8、ter中已经存在 authorized_keys文件，所以这里是追加)。如果进一步需要 slave之间实现公钥无密码验证，则同样需要相互之间追加公钥信息(1)将各个 slave上的 id_rsa.pub追加到 master的 authorized_keys在所有 slave上依次执行如下命令:rootcast:/.ssh$ scp id_rsa.pub 192.168.1.111:/root/.ssh/192.168.1.93.id_rsa.pubrootcast:/.ssh$ scp id_rsa.pub 192.168.1.111:/root/.ssh/192.168.1.94.id_rs
9、a.pub这将 slave上之前产生的公钥 id_rsa.pub复制到 master上的.ssh 目录中，并重命名为 slave ip地址.id_rsa.pub，这是为了区分从各个 slave上传过来的公钥。复制完毕，在 master上执行以下命令，将每个 slave的公钥信息追加:rootcast:/.ssh$ cat 192.168.1.93.id_rsa.pub authorized_keysrootcast:/.ssh$ cat 192.168.1.94.id_rsa.pub authorized_keys这样，master 和 slave之间便可以相互 ssh上并不需要密码.注意：整
10、个过程中只涉及到创建密钥，复制公钥，添加公钥内容，没有更改配置文件，实际上配置文件/etc/ssh/sshd_config 中开启了公钥验证 RSAAuthentication yesPubkeyAuthentication yes(2)SSH配置完毕至此，master 能无密码验证登陆每个 slave。每个 slave也能无密码验证SSH登陆到 master。2 JDK 安装和 Java 环境变量配置2.1 fedora 下安装 JDK 1.6下载 JDK安装包 jdk-6u22-linux-i586-rpm.bin,复制到目录/opt/java 下，在命令行进入该目录执行命令 chmod
11、777 jdk-6u22-linux-i586-rpm.bin./jdk-6u22-linux-i586-rpm.bin 命令运行完毕，将在当前目录下面生成一个对应的 jdk1.6.0_22 安装完毕。2.2 Java 环境变量配置命令行中执行命令”vi /etc/profile”,并加入以下内容，配置环境变量(注意/etc/profile 这个文件很重要，后面 Hadoop的配置还会用到)。export JAVA_HOME=/opt/java/jdk1.6.0_22 export PATH=$JAVA_HOME/bin:$PATHexport CLASSPAHT=.:$JAVA_HOME/l
12、ib/dt.jar:$JAVA_HOME/lib/tools.jar保存并退出，执行以下命令使配置生效source /etc/profile配置完毕，在命令行中使用命令”java -version”可以判断是否成功。3 Hadoop 集群配置在 master上执行:下载 hadoop-0.20.2+320.tar.gz，将其解压到/opt 目录下，使用如下命令:Tar zxvf hadoop-0.20.2+320.tar.gzmv hadoop-0.20.2+320 hadoop(1)把 Hadoop 的安装路径添加到/etc/profile 中(设置相应的 HOME路径)修改/etc/pro
13、file 文件(配置 java环境变量的文件)，将以下语句添加到末尾，并使其有效(source /etc/profile)：# set hadoop pathexport HADOOP_HOME=/opt/hadoopexport PATH=$HADOOP_HOME/bin:$PATH(2)配置 Hadoop(a)配置 hadoop-env.sh 进入 hadoop/conf目录下$ vi hadoop-env.sh末尾加入以下语句export JAVA_HOME=/usr/java/jdk1.6.0_22export HADOOP_HOME=/opt/hadoopexport HADOOP_
14、CONF_DIRE=/opt/hadoop/conf/hadoop保存退出 执行 source hadoop-env.sh把/opt/hadoop/src/core 目录下的 core-default.xml复制到/opt/hadoop/conf下并且改名为 core-site.xml 覆盖掉原有的 core-site.xml把/opt/hadoop/src/hdfs 目录下的 hdfs-default.xml复制到/opt/hadoop/conf下并且改名为 hdfs-site.xml 覆盖掉原有的 hdfs-site.xml把/opt/hadoop/src/mapred 目录下的 mapred-default.xml复制到/opt/hadoop/conf下并且改名为 mapred-site.xml 覆盖掉原有的 mapred-site.xml(b)配置 core-site.xmlhadoop.tmp.dir/opt/hadoop-$user.name A base for other temporary directories.fs.default.namehdfs:/master:9000 (c)配
