《《Hadoop大数据开发实战》教学教案—02搭建Hadoop集群》由会员分享，可在线阅读，更多相关《《Hadoop大数据开发实战》教学教案—02搭建Hadoop集群（4页珍藏版）》请在金锄头文库上搜索。
1、Hadoop大数据开发实战教学设计课程名称：Hadoop大数据开发实战 授课年级： _ _ _授课学期： _ _ _ _ 教师姓名： _ _ 课程名称第2章 搭建Hadoop集群计划学时4学时内容分析本章主要介绍安装准备、Linux基本命令、Hadoop集群搭建、Hadoop集群测试、使用Hadoop集群教学目标与教学要求要求学生了解虚拟机的安装和克隆、掌握Linux基本命令的用法、熟悉Linux系统网络配置、掌握Hadoop集群的搭建和配置方法、熟悉Hadoop集群案例操作教学重点Linux基本命令、Hadoop集群搭建、Hadoop集群测试、使用Hadoop集群教学难点Linux基本命令、
2、Hadoop集群搭建、Hadoop集群测试、使用Hadoop集群教学方式课堂讲解及ppt演示教学过程第一课时（搭建Hadoop集群）回顾内容，引出本课时主题1.回顾内容，引出本课时的主题上节学习了Hadoop的基本知识，“工欲善其事，必先利其器”，在深入学习Hadoop，掌握其相关应用前，需要学会搭建集群环境。下面将带领大家从零开始搭建一个简单的Hadoop集群。本节主要讲解安装前的准备工作。Hadoop可以安装在Linux系统和Windows系统上使用。由于Linux系统具备便捷性和稳定性，所以在实际开发过程中，更多的Hadoop集群是在Linux系统上运行的，本书对Linux系统上的Had
3、oop集群搭建以及使用进行讲解。 2.明确学习目标（1） 能够独立完成虚拟机安装（2） 能够独立完成虚拟机克隆（3） 能够掌握Linux系统网络配置（4） 能够独立完成SSH服务配置知识讲解 虚拟机安装搭建Hadoop集群需要很多台机器，这在个人开发测试和学习时，肯定是不切实际的。所以，可以使用虚拟机软件在一台电脑中，搭建出多个Linux虚拟机环境，来进行个人开发测试和学习。下面就开始分步演示VMware Workstation虚拟软件工具进行Linux系统虚拟机安装配置的过程。1创建虚拟机 2虚拟机启动初始化 具体细节参见教材2.1.1节内容。 虚拟机克隆一台搭载CentOS镜像文件的Lin
4、ux 虚拟机已经安装成功，但是搭建Hadoop集群，一台虚拟机远远不能满足需求，这时需要对已安装的虚拟机进行克隆。克隆就是复制原始虚拟机全部状态的，克隆操作一旦完成，克隆的虚拟机就可以脱离原始虚拟机独立存在，而且在克隆的虚拟机中和原始虚拟机中的操作是相对独立的，不相互影响（1）关闭虚拟机qf01，克隆虚拟机只能在虚拟机关机状态下进行。（2）鼠标右键单击虚拟机名称，选择“管理”，再选择“克隆”，进入“克隆虚拟机向导界面”，如图所示。（3）根据提示连续单击界面中的“下一步(N)”按钮，进入到“克隆类型”界面后， 选择“创建完整克隆(F)”选项，如图所示。（4）在图中，单击“下一步”按钮，进入到设置
5、虚拟机名称和位置界面，如图所示。设置虚拟机名称为qf02，位置为D:hadoopqf02，单击“完成”按钮。在图中，单击“完成”按钮，进入新虚拟机克隆过程，完成后在VMware的库列表中可以看到刚才克隆的虚拟机。上面演示了一台虚拟机的克隆，如果想克隆多台虚拟机，重复上述操作即可。 Linux系统网络配置VMware Workstation的虚拟网络类型主要有3种：桥接模式、NAT（Network Address Transtion，网络地址转换）模式、仅主机模式。三者的用途各不相同。（1）桥接模式可以将虚拟机直接连接到外部网络。（2）NAT模式可以与虚拟机共享主机的IP地址。（3）仅主机模式可
6、以在专用网络内连接虚拟机。本教材使用虚拟网络的NAT模式，配置方式如下。1 主机名和IP映射配置开启克隆的虚拟机qf01，输入root用户的用户名和密码后进入虚拟机系统。然后，在终端窗口按照以下说明进行主机名和IP映射的配置。（1）配置主机名，具体指令如下。$ vi /etc/sysconfig/network执行上述指令后，在打开的界面对HOSTNAME选项进行重新编辑，自定义主机名配置。在Hadoop集群搭建时，会将 qf01、qf02、qf03主机名依次设置为 qf01、qf02和 qf03。（2）配置IP映射配置IP映射，要明确目前虚拟机的IP和主机名，并且IP地址须在VMware虚拟
7、网络IP地址范围之内。所以，要先查询可选的IP地址范围，再进行IP映射配置。首先，单击VMware工具的“编辑”菜单下的“虚拟网络编辑(N)”菜单项，打开虚拟网络编辑器；选择“NAT模式”类型的VMnet8，单击“DHCP 设置(P)”按钮会出现一个DHCP设置弹窗，如图示。然后，执行如下指令对IP映射文件hosts进行编辑。$ vi /etc/hosts执行上述指令后，会打开一个hosts映射文件，为了保证后续相互关联的虚拟机能够通过主机名进行访问，自定义配置对应的IP和主机名映射，如图所示。读者在进行IP 映射配置时，可以根据自己的DHCP设置和主机名规划IP映射。2 网络参数配置想要虚拟
8、机能够正常使用，需要进行网络参数配置。（1）修改虚拟机的网卡配置文件，配置网卡设备的MAC（Media Access Control，介质访问控制）地址，具体指令如下。$ vi /etc/udev/rules.d/70-persistent-net.rules因为虚拟机是克隆，所以在qf02虚拟机中会有 eth0 和 eth1 两块网卡（qf01虚拟机只有一块eth0网卡），这时删除多余的eth1网卡配置，只保留 eth0 一块网卡即可，操作方式：删除eth0网卡，将eth1网卡的参数 NAME=eth1修改为 NAME=eth0。（2）修改IP地址文件，设置静态IP，具体指令如下。$ vi
9、/etc/sysconfig/network-scripts/ifcfg-eth0执行上述指令，打开虚拟机的IP地址配置界面，如图所示。在图中所示的IP地址配置界面，配置以下参数：l ONBOOT=yes：表示启动这块网卡； l BOOTPROTO=static：表示静态路由协议，可以保持IP固定；l IPADDR：表示虚拟机的 IP 地址，这里设置的 IP 地址要与前面IP映射配置时的IP地址保持一致，否则无法通过主机名找到对应IP；l GATEWAY：表示虚拟机网关，一般将IP地址最后一个位数变2；l NETMASK：表示虚拟机子网掩码，配置为255.255.255.0。 l DNS1：表
10、示域名解析器，此处采用 Google 提供的免费DNS服务器 8.8.8.8（也可以设置为PC端电脑对应的DNS）。3 配置效果验证重启虚拟机使当前配置生效，这里可以使用reboot指令重启系统。系统重启完毕之后，通过ifconfig指令查看IP配置是否生效，如图所示从图中可以看出，qf01主机的IP地址已经设置为192.168.142.131。执行“ping 192.168.142.132”指令检测集群通信是否正常，如图所示。从图中可以看到，虚拟机可以正常接收数据，并且延迟正常，说明网络连接正常。至此，当前虚拟机的网络配置完毕。 SSH服务配置SSH即Secure Shell，是专为远程登录
11、会话和其他网络服务提供安全保障的协议。 当1台计算机的某些软件需要频繁使用SSH协议远程连接其他计算机时，需要人工填写大量密码，影响工作效率。要避免这类情况出现，同时兼顾安全问题，可以设置SSH免密登录。1SSH 远程登录功能配置在使用SSH服务之前，服务器必须安装并开启SSH服务。在CentOS系统中，执行rpm -qa | grep ssh指令来查看当前机器是否安装了SSH服务，然后使用ps -e | grep sshd指令来查看SSH服务是否已经正常启动，如图所示。若目标服务器已经安装SSH服务，并且支持远程连接访问，便可以通过一个远程连接工具来连接访问目标服务器。本书使用实际开发中常用
12、的MobaXtem远程连接工具来演示远程服务器的连接和使用。 MobaXtem是一款支持SSH的终端仿真程序，它能够在Windows 操作系统上远程连接Linux服务器执行操作。本教材采用MobaXtem 9.4版本进行介绍说明，（软件安装包见附录）下载安装完成后，按照以下步骤进行远程连接访问。 （1）打开MobaXtem远程连接工具，单击导航栏上的Session，然后单击SSH创建快速连接，并根据虚拟机的配置信息进行设置，如图所示。 （2）在图中单击“OK（确定）”按钮后，MobaXtem远程连接工具就会自动连接到远程目标服务器，如图所示。进入到图中所示界面，就表示通过MobaXtem远程连
13、接服务器成功，后续就可以像在虚拟机终端窗口一样，也可以在该工具客户端上操作虚拟机。2SSH 免密登录功能配置如果1台机器需要SSH远程登录到其他机器，就在这台机器上配置SSH免密登录。SSH免密登录是通过配置公钥和私钥（“公私钥”认证）来实现的。此处的SSH免密登录是指虚拟机qf01通过SSH免密登录虚拟机qf02、qf03。（1）分别删除虚拟机qf01、qf02、qf03的/.ssh目录。注意：在使用rm -rf命令时，要特别小心，避免误删文件。具体如下。rootqf01 # rm -rf .sshrootqf02 # rm -rf .sshrootqf03 # rm -rf .ssh（2）
14、在虚拟机qf01上新建SSH公私秘钥对。具体如下。rootqf01 # ssh-keygen -t rsa -P -f /.ssh/id_rsa（3）在虚拟机qf01上配置免密登录虚拟机qf01、qf02、qf03。在实际工作中，ssh-copy-id命令的作用：复制本地用户的公钥到远程主机指定用户的认证库中，实现本地用户通过SSH免密登录远程主机指定用户。本书进行模拟操作，实现虚拟机qf01（本地root用户）通过SSH免密登录虚拟机qf01、qf02、qf03（3台远程主机的root用户）。具体如下。rootqf01 # ssh-copy-id rootqf01rootqf01 # ssh
15、-copy-id rootqf02rootqf01 # ssh-copy-id rootqf03提示：出现(yes/no)?，输入yes，按下回车键。（4）验证SSH免密登录是否配置成功。具体如下。rootqf01 bin# ssh qf02出现如下内容，表明虚拟机qf01通过SSH成功登录虚拟机qf02。具体如下。rootqf02 #输入exit，按下回车键，退回到虚拟机qf01。第二课时（Linux基本命令、Hadoop集群搭建、Hadoop集群测试、使用Hadoop集群）回顾内容，引出本课时主题1.回顾内容，引出本课时的主题上节介绍了Hadoop集群搭建前的准备工作，本节将介绍Linux基本命令、Hadoop集群搭建、Hadoop集群测试和使用Hadoop集群的相关内容。2.明确学习目标（1） 能够掌握Lin
