《基于Hadoop的云存储系统配置文档》由会员分享，可在线阅读，更多相关《基于Hadoop的云存储系统配置文档（17页珍藏版）》请在金锄头文库上搜索。
1、一、 软件环境Linux系统: Ubuntu 11.10 desktop 64位Sun-java6-jdk：1.60Hadoop: Cloudera版hadoop二、 Hadoop分布式集群配置（一）JDK安装1. 更新 deb 软件包列表$ sudo apt-get update2. 安装 JDK$ sudo apt-get install sun-java6-jdk /默认路径在/usr/lib/jvm,安装时需要 TAB 键选择 OK3. 设置 java-6-sun 为默认的 java 程序$ sudo update-alternatives -config java /JDK 唯一,不
2、需选择4. 设置 CLASSPATH 和 JAVA_HOME 系统环境变量$ sudo gedit /etc/environment添加以下两行内容:CLASSPATH=.:/usr/lib/jvm/java-6-sun/libJAVA_HOME=/usr/lib/jvm/java-6-sun5. 调整系统虚拟机的优先顺序$ sudo gedit /etc/jvm在文件顶部添加一行/usr/lib/jvm/java-6-sun如果文件/etc/jvm 不存在则自己新建安装中遇到的问题：apt-get install sun-java6-jdk提示是现在没有可用的软件包 sun-java6-jd
3、k，但是它被其它的软件包引用了。这可能意味着这个缺失的软件包可能已被废弃，或者只能在其他发布源中找到E: 软件包 sun-java6-jdk 还没有可供安装的候选者解决办法：系统设置-软件源其他软件添加：deb http:/ lucid partner然后执行:sudo apt-get updatesudo apt-get install sun-java6-jdk(二) IP配置机器IP配置如下：openlab00 ：192.168.1.52openlab01 ：192.168.1.571. 每台机器设置静态ip（以openlab00为例）1）编辑sudo gedit /etc/networ
4、k/interfaces 原内容为 auto lo iface lo inet loopback2）添加和静态ip有关的参数auto eth0iface eth0 inet staticaddress 192.168.1.52netmask 255.255.255.0gateway 192.168.1.13）编辑 /etc/resolv.conf，设置dnsnameserver 202.112.14.151nameserver 218. 6.200.1394）重启网络，启用新设置sudo /etc/init.d/networking restart2. 修改/etc/hosts文件（以open
5、lab00为例）1）需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名127.0.0.1 localhost localhost192.168.1.52 openlab00 openalb00192.158.1.57 openalb01 openlab01注意：修改后执行命令：sudo /etc/init.d/networking restart2）ping测试测试：2台机器互相ping主机名，看是否可以ping通。注意：如果ping不通请将防火墙关闭再尝试，检查一下网络，或重启机器；（三）SSH设置注意：每台机器都要生成密钥，每台机器之间都要能相互ssh通1. Hadoop要
6、求所有机器上hadoop的部署目录结构要相同，并且都有一个相同用户名的帐户。所有机器上创建用户名为openlab的用户，主目录为/home/openlab。2. SSH工作原理简介在Hadoop启动以后，Namenode是通过SSH（Secure Shell）来启动和停止各个节点上的各种守护进程的，这就需要在节点之间执行指令的时候是不需要输入密码的方式，故我们需要配置SSH使用无密码公钥认证的方式。以本文中的机器为例，现在openlab00是主节点，它需要主动发起SSH连接到openlab01机器，对于SSH服务来说，openlab00就是SSH客户端，而openlab01则是SSH服务端，因
7、此在openlab001，openlab002等机器上需要确定sshd服务已经启动。简单的说，在openlab00上需要生成一个密钥对，即一个私钥，一个公钥。将公钥拷贝到openlab01机器上，这样，比如当openlab00向openlab01发起ssh连接的时候，openlab01上就会生成一个随机数并用openlab00的公钥对这个随机数进行加密，并发送给openlab00；openlab00收到这个加密的数以后用私钥进行解密，并将解密后的数发送回openlab01，openlab01确认解密的数无误后就允许openlab00进行连接了。这就完成了一次公钥认证过程。3. 每台机器上下载S
8、SHsudo apt-get install sshsudo apt-get install rsync4. 生成密钥代码为：openlabopenlab00:mkdir .sshopenlabopenlab00:chmod 755 .sshopenlabopenlab00:$ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/home/openlab/.ssh/id_rsa): Enter passphrase (empty for no passphras
9、e):Enter same passphrase again:Your identification has been saved in /home/openlab/.ssh/id_rsa.Your public key has been saved in/home/openlab/.ssh/id_rsa.pub.The key fingerprint is:2e:57:e2:bf:fd:d4:45:5c:a7:51:3d:f1:51:3c:69:68 openlabopenlab00这个命令将为openlab上的用户openlab生成其密钥对，询问其保存路径时直接回车采用默认路径（在默认的情
10、况下将会把key保存到/home/openlab/.ssh/id_rsa中），当提示要为生成的密钥输入passphrase的时候，直接回车，也就是将其设定为空密码。生成的密钥对id_rsa，id_rsa.pub，默认存储在/home/openlab/.ssh目录下5. 分发密钥对于namenode：openlab00openlabopenlab00:.ssh$cp id_rsa.pub authorized_keysopenlabopenlab00:.ssh$chmod 644 authorized_keysopenlabopenlab00:.ssh$ scp authorized_keys
11、openlab01:/home/openlab/.ssh/对于datanode：openlab01转到openlab01下openlabopenlab01:$mkdir .sshopenlabopenlab01:$chmod 755 .sshopenlabopenlab01:ssh-keygen t rsaopenlabopenlab01:$cd .sshopenlabopenlab01:.ssh$ cat id_rsa.pub authorized_keysopenlabopenlab01:.ssh$chmod 644 authorized_keysopenlabopenlab01:.ssh
12、$ scp authorized_keys openlab00:/home/openlab/.ssh/6. 检查authorized_keys权限首先查看authorized_keys的读写权限是否设置正确：openlabopenlab00:.sshls ladrwx- 2 openlab openlab .drwx- 3 openlab openlab .-rw-r-r- 1 openlab openlab authorized_keys注意：每台机器上authorized_keys的读写属性都应该是相同的（chmod 644 authorized_keys）！7. 去除密码论证接着，在每台
13、机器上都需要对ssh服务进行配置，在每台机器上修改文件/etc/ssh/sshd_config#去除密码认证PasswordAuthentication noAuthorizedKeyFile /home/openlab/.ssh/authorized_keys注意：修改后执行命令：sudo /etc/init.d/networking restart （如果修改该配置文件都要执行改名了重启ssh）8. SSH连接测试ssh openlab00 ssh openlab01（四）hadoop安装参考网站：http:/ 我们配置Ubuntu的源环境，用以下命令打开编辑器对源配置文件进行编辑：sud
14、ogedit/etc/apt/sources.list加入以下两行：debhttp:/ 在访问Cloudera软件仓库的时候，需要GPG证书，所以我们需要首先安装curl，然后配置GPGsudoapt-getinstallcurlcurl-shttp:/ 源配置完成后需要进行更新，命令为：sudoapt-getupdate4. 更新完成后，开始安装Hadoop，命令为：sudoapt-getinstallhadoop-0.20sudoapt-getinstallhadoop-0.20-有如下选项：namenodedatanodesecondarynamenodejobtrackertasktracker事实上，在Hadoop集群中，一个结点扮演什么角色是由配置文件决定，而与安装什么样的组件无关，所以，为了避免重复配置，我们对每台服务器都安装所有的组件。（五）ha
