《cloudera 安装部署手册》由会员分享，可在线阅读，更多相关《cloudera 安装部署手册（40页珍藏版）》请在金锄头文库上搜索。
1、clouderaCDH安装功能名称：业务名称：编 写 人：编写日期：2014-7-28确 认 人：确认日期：修订记录日期版本作者/修改者描述审核人目 录1.导言51.1.说明51.2.集群节点51.3.硬件51.4.软件版本52.准备工作52.1.操作系统52.2.磁盘52.2.1.是否需要raid52.2.2.磁盘划分52.2.3.磁盘裸设备的挂载62.3.关闭防火墙62.4.修改主机名并配置Hosts72.4.1.修改主机名72.4.2.设置每台主机的hosts72.5.ssh免登陆配置72.5.1.创建公钥和密钥72.5.2.配置与其他机器的免密码登陆82.6.同步集群时间ntp92.6
2、.1.配置ntp server集群时钟92.6.2.ntp客户端配置102.6.3.测试112.7.上传安装包以及搭建yum源122.7.1.安装cloudera需要的文件如下安装包122.7.2.上传yum源需要的文件到 /var/www/html目录下122.7.3.启动httpd服务132.7.4.测试HTTPD132.7.5.编辑yum源配置文件142.7.6.安装createrepo152.7.7.创建源索引153.cm安装153.1.上传cm安装启动程序153.2.安装cm的install.bin164.cdh安装194.1.登陆CM194.2.指定主机204.3.群集安装214.
3、4.安装parcel214.4.1.配置CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha1214.4.2.配置parcel224.5.选择parcel和cm等244.6.安装CM JDK和分发数据包等264.7.分配parcel284.8.检查各个主机284.9.选择需要安装的服务294.10.分配角色并安装305.验证和使用335.1.zookeeper335.2.hbase335.3.hdfs335.4.使用shell验证hbase安装341. 导言1.1. 说明本指导书以潍坊交警hadoop集群为例，指导安装CDH1.2. 集群节点见hadoop服务器角
4、色清单1.3. 硬件共14台“华为RH2288-HV2 Xeon E5-2620，内存容量：192G，4块2T SATA硬盘”1.4. 软件版本cdh5.3.02. 准备工作2.1. 操作系统操作系统使用64位CentOS6.52.2. 磁盘2.2.1. 是否需要raid集群datanode不需要安装raid磁盘，hadoop的hdfs本身具有冗余和并发机制，namenode为了保证数据安全，需要安装raid。2.2.2. 磁盘划分 磁盘划分datanode要求盘符的划分所有节点要相同，之后的hadoop所有相关安装路径等也需要相同。Namenode划分如下：共有2块raid盘Datanode
5、如下：4块物理盘2.2.3. 磁盘裸设备的挂载a查看裸设备： fdisk lb 进入分区 fdisk /dev/sdac 分区后的格式化 mkfs.ext4 /dev/sda4d 挂载 mount /dev/sda4 /home/data1e 永久挂载，使挂载重启后有效 vi /etc/fstab 添加 /dev/sda4 /home/data1 ext4 defaults 1 2 保存，reboot机器确认挂载成功f 卸载umount /dev/sda42.3. 关闭防火墙集群所有机器执行：rootnode41 # service iptables stopiptables: Flushin
6、g firewall rules: OK iptables: Setting chains to policy ACCEPT: filter OK iptables: Unloading modules: OK rootnode41 # chkconfig iptables off每个机器都需要关闭防火墙2.4. 修改主机名并配置Hosts2.4.1. 修改主机名每台机器设置不同的主机名2.4.2. 设置每台主机的hosts在每个机器设置Hostsvi /etc/hosts10.51.82.29 node2910.51.82.30 node3010.51.82.31 node3110.51.8
7、2.32 node3210.51.82.33 node3310.51.82.34 node3410.51.82.35 node3510.51.82.36 node3610.51.82.37 node3710.51.82.38 node3810.51.82.39 node3910.51.82.40 node4010.51.82.41 node41保存退出，重启机器查看主机名是否变化rootnode29 # 2.5. ssh免登陆配置2.5.1. 创建公钥和密钥rootnode29 # ssh-keygen -t rsaGenerating public/private rsa key pair.
8、Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa.Your public key has been saved in /root/.ssh/id_rsa.pub.The key fingerprint is:b9:ef:52:0d:94:42:fa:13:f7:ea:bb:ce
9、:34:50:07:5f rootnode29The keys randomart image is:+- RSA 2048-+| . . E | . oo . | . .oo o | . =.o | S o. | +. | .+ | .= . | +Oo |+-+rootnode29 #rootnode29 .ssh# pwd/root/.sshrootnode29 .ssh# cat id_rsa.pub authorized_keys rootnode29 .ssh# cd .rootnode29 # chmod -R 700 .ssh/rootnode29 # cd .ssh/root
10、node29 .ssh# chmod 644 authorized_keysrootnode29 .ssh# ssh node29The authenticity of host node29 (10.51.82.29) cant be established.RSA key fingerprint is be:77:86:0c:7e:76:b8:f4:b8:5d:e4:ed:e0:50:14:b5.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added node29,10.51.
11、82.29 (RSA) to the list of known hosts.Last login: Tue Jul 29 19:46:49 2014 from 10.51.5.179此时自身已经可以ssh，2.5.2. 配置与其他机器的免密码登陆rootnode29 .ssh# pwd/root/.ssh rootnode29 .ssh# ssh-copy-id -i id_rsa.pub rootnode138rootnode30 # chmod -R 700 /root/.ssh/rootnode30 # chmod 644 /root/.ssh/authorized_keys重新在29
12、上查看ssh 30成功rootnode29 .ssh# ssh node30Last login: Tue Jul 29 19:48:34 2014 from 10.51.5.179rootnode30 #其他datanode同理，需要各个机器之间都可以通过ssh免密码登陆。2.6. 同步集群时间ntpntp服务端设为10.231.220.13集群时区和时间需要保持完全一致，相差最多不要超过15S，否则将导致集群运行出现问题。可以考虑使用时间同步软件，此处手动同步集群时间：10.48.3.192rootnode29 # date -s 21:21:40date -s 20141229同步到硬件
13、时钟rootnode29 # hwclock w2.6.1. 配置ntp server集群时钟1、node13 配置：vi /etc/ntp.confdriftfile /var/lib/ntp/drift restrict default kod nomodify notrap nopeer noqueryrestrict -6 default kod nomodify notrap nopeer noquery restrict 127.0.0.1 restrict -6 :1 restrict 10.231.220.0 mask 255.255.255.0 nomodify notrapserver 127.127.1.0 # local clockfudge 127.127.1.0 stratum 1includefile /etc/ntp/crypto/pwkeys /etc/ntp/keysrootnode29 etc# service ntpd start正在启动 ntpd：确定设置开机自动启动：rootnod
