《安装hadoopCDH5安装服务步骤》由会员分享，可在线阅读，更多相关《安装hadoopCDH5安装服务步骤（27页珍藏版）》请在金锄头文库上搜索。
1、CDH5 上安装 Hive,HBase,Impala,Spark 等服务 .2 一、安装前准备工作.2 1、下载安装中需要的文件：.2 2、准备安装的服务器.3 3、在 web 服务器上发布 CentOS-6.5-x86_64 安装盘文件.3 4、创建 hosts 和 yum 配置文件 .4 5、 上安装 PostgreSQL.4 二、图解 Hive,HBase,Impala,Spark 的安装和配置.5 1、登录 CM5 .5 2、选择 Cloudera Express .5 3、可供选择的安装包列表.6 4、为 CDH 集群指定主机.7 5、进入添加主机向导.8 6、进入添加服务向导：.1
2、4 7、进入 CM 首页 .25 三、小结.26CDH5CDH5 上安装上安装 Hive,HBase,Impala,SparkHive,HBase,Impala,Spark 等服务等服务 Apache Hadoop 的服务的部署比较繁琐，需要手工编辑配置文件、下载依赖包 等。Cloudera Manager 以 GUI 的方式的管理 CDH 集群，提供向导式的安装步骤。 由于需要对 Hive,HBase,Impala,Spark 进行功能测试，就采用 了 Cloudera Manager 方式进行安装。Cloudera Manager 提供两种软件包安装源，Package 和 Parcel：P
3、ackage 就是一个个 rpm 文件，以 yum 的方式组织起来。Parcel 是 rpm 包的压缩格式，以.parcel 结尾，所有的 rpm 压缩在一个文件中， 方便下载和分发，使用 manifest.json 文件对 parcel 文件进行描述，将 parcel 文 件保存到局域网内的 Web 服 务器上，安装过程中就不需要从互联网上下载文 件了，实现了离线安装。一、安装前准备工作一、安装前准备工作安装 Hive,HBase,Impala,Spark 之前，Cloudera Manager 应该已经安装好了，参 见：本地 Yum 软件源安装 Cloudera Manager 5 这篇文
4、章，使用的操作系统为CentOS-6.5-x86_64，CM 版本为 5.0.2 ，采用 parcel 包方式安装，1 1、下载安装中需要的文件：、下载安装中需要的文件：从 http:/ 下载如下的文件，保存到 Web 服务器的 /var/www/html/cdh5/parcels/latest 目录 ：1.rootlocalhost latest# pwd 2./var/www/html/cdh5/parcels/latest 3.rootlocalhost latest# ll 4.total 1793948 5.-rw-r-r- 1 root root 1836961055 Jun 15
5、 06:51 CDH-5.0.2-1.cdh5.0.2.p0.13-el6.parcel 6.-rw-r-r- 1 root root 33190 Jun 15 09:04 manifest.json 从 http:/archive- 下载：RPM-GPG-KEY- cloudera，这是对 rpm 包进行校验的文件，保存到 Web 服务器的/var/www/html/redhat/cdh 目录： 1.rootlocalhost cdh# pwd 2./var/www/html/redhat/cdh 3.rootlocalhost cdh# ll 4.total 4 5.-rw-r-r- 1
6、root root 1690 Jun 16 07:32 RPM-GPG-KEY-cloudera 6.rootlocalhost cdh# 2 2、准备安装的服务器、准备安装的服务器测试环境一共使用了六台服务器，列表如下：服务器列表 ipip 地址地址hostnamehostname描述信息描述信息本地 web 服务器CM，管理节点节点 节点 节点 节点 4ipip 地址地址hostnamehostname描述信息描述信息192.168.1.10hadoopnamenode本地 web 服务器192.168.1.10hadoopnamenodeCM，管理节点192.168.1.11Hadoop
7、datanode1节点 1所有的服务器上安装 CentOS-6.5-x86_64，并关闭防火墙、selinux、保持时间 一致。保持所有的 root 用户密码一致。一个 Hadoop 集群中的节点最少为三台， 本测试环境的节点为四台，上面的 ip 地址需要根据自已的网络情况进行调整， 这是我搭建的虚拟机的 IP。3 3、在、在 webweb 服务器上发布服务器上发布 CentOS-6.5-x86_64CentOS-6.5-x86_64 安装盘文件安装盘文件安装过程中，需要从 CentOS-6.5-x86_64 安装盘上读取一些 rpm 包，需要将安 装盘发布为本地 yum 源。将安装盘挂载到
8、web 服务器，并添加软连接到 web 目录，web 服务器上的 web 根目录如下：1.rootlocalhost html# pwd 2./var/www/html 3.rootlocalhost html# ll 4.total 12 5.drwxr-xr-x 3 root root 4096 Jun 15 06:48 cdh5 6.lrwxrwxrwx 1 root root 24 Jun 20 08:12 centos_media - /media/CentOS_6.5_Final/ 7.drwxr-xr-x 3 root root 4096 Jun 14 10:04 cm5 8.d
9、rwxr-xr-x 3 root root 4096 Jun 16 07:29 redhat 4 4、创建、创建 hostshosts 和和 yumyum 配置文件配置文件创建 hosts 文件，保存到所有服务器的 /etc/hosts ，内容如下：1.127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 2.:1 localhost localhost.localdomain localhost6 localhost6.localdomain6 3. 4.172.16.230.140 5.1
10、72.16.230.141 6.172.16.230.151 7.172.16.230.152 8.172.16.230.153 9.172.16.230.154 创建 myrepo.repo 文件，保存到所有服务器的 /etc/yum.repos.d 目录，内容 如下： 1.myrepo 2.name=myrepo 3.baseurl=http:/172.16.230.140/cm5/redhat/6/x86_64/cm/5/ 4.enabled=1 5.gpgcheck=0 创建 CentOS-Media.repo 文件，保存到所有服务器的 /etc/yum.repos.d 目录，内 容如下：1.c6-media 2.name=CentOS-$releasever - Media 3.baseurl=http:/1
