《hadoop零基础学习》由会员分享，可在线阅读，更多相关《hadoop零基础学习（50页珍藏版）》请在金锄头文库上搜索。
1、HADOOP学习LINUX1. 安装vmware 虚拟机路径:C:ehadoopVMWare10软件VMWare10安装 安装在C:evmware1.1. 解压CENTOS路径:c:ehadoopCentOS选择CentOS.vmx-右键打开方式-VMWare-workstation1.2. 打开虚拟机之前先设置1.2.1 设置内存-暂设512M-确定1.2.2 设置网络适配器-选择仅主机模式1.2.3 说明:仅主机模式指的是网络连接中的VMNET1 设置虚拟机IP:打开网络连接-VMware Network Adapter VMnet1-右键属性-TCP/IPv4- 设置IP : 192.1
2、68.80.1 255.255.255.0DNS:192.168.80.1Ipconfig如果启动时卡住了:选择网络适配器-高级-MAC地址-生成-确定1.3. 开启虚拟机 登录:选择other 用户名:root (相当于administrator)密码:hadoopApplications-system tools-Terminal (类似于命令行)选择右上角电脑小图标设置IP(auto eht1)Auto eth1-右键-edit connections-add-available to all users 打勾-设置ipv4-Method:Manual-Address:Add-192.1
3、68.80.100-255.255.255.0-192.168.80.1-apply 设置完成1.4. 验证设置是否生效:Ifconfig 看到192.168.80.100表示成功有时候IP没有立即生效，那么网卡重新启动,命令:service network restart2. 使用远程连接工具2.1. 使用外部命令行工具 Cmd-ping 192.168.80.100看是否能拼通2.2. 远程连接工具:c:epietty 输入ip地址-open 输入用户名:root 密码:hadoop3. LINUX常用命令3.1. 跳转目录 cd / 根目录 cd 家目录cd root = cd cd .
4、 :上级目录pwd :显示全路径3.2. ls命令 ls：查看目录下包含什么东西 ls -l：显示详细信息 ls -a：显示隐藏文件 ls -l . :表示当前信息 命令pwd：显示当前所处位置的 命令clear：清屏3.3. 创建文件夹，文件，删除，复制等3.3.1 命令mkdir：创建文件夹批量创建文件夹 mkdir -p p1/p2/p3：递归创建上级文件夹3.3.2 命令touch：创建空白文件3.3.3 more：查看文件内容3.3.4 rm：删除文件3.3.5 rmdir：删除文件夹 rm -rf:删除文件(夹)，不论层级多深，一概删除，并且不给出提示3.3.6 cp(copy)：
5、复制文件，还有一个功能是创建新文件 复制:cp 文件名 文件夹名 创建新文件:cp 文件名 另外一个文件名3.3.7 命令mv(move): 移动文件，还有个功能是重命名 移动文件: mv 文件名 文件夹 重命名: mv 文件名 另外一个文件名3.4. VI操作3.4.1 当使用命令vi f1回车时，进入了vi编辑器内，处于只读状态(只能看不能写)；3.4.2 按字母”i“(insert)或者”a“(append)就可以进入编辑状态；3.4.3 按键盘上的”Esc“键，再按Shift+:，进入命令状态如果输入命令wq，意味着保存退出；如果输入命令q！，意味着不保存退出；3.5. linux权限
6、3.5.1 Rwx说明:linux的权限使用9位字符表示，rwx rwx rwx这里面r表示读权限，w表示写权限，x表示执行权限，-表示没有权限3.5.2 实例说明rwx 输入命令 ls -l . -rw-r-r-第一位表示文件或者文件夹 -表示文件 d 表示文件夹黑色表示文件，蓝色表示文件夹3.5.3 命令chmod：修改权限三个组分别使用u、g、o表示，赋权限使用“+”，去掉权限使用“-”。这9位字符，每3位一组，分为3组。 以此为例 -rw-r-r-第一组表示创建者的权限；rw- 读写权限 u第二组表示创建者所在组的权限；r- g第三组表示其他人的权限；r- o权限还可以使用数字表示。r
7、wx用数字表示为4+2+1=7。新创建文件的默认权限是644；新创建文件夹的默认权限是755. chmod u+x f1 /表示文件f1的创建者增加执行权限 u表示第一组 Chmod u-x f1 /去掉执行权限 chmod o-r f1 /表示文件f1的其他人去掉读权限 o表示第三组HADOOP的伪分布安装1. HADOOP核心项目(由这两部分组成):HDFS:分布式文件系统主从结构:主节点:namenode从节点:datanodeNamenode :1. 接收用户请求2. 维护文件系统，目录结构3. 管理文件与block(文件块,把文件划分成一个个的块)之间关系Datanode:存储数据，
8、分块，文件会有多个副本MAPREDUCE:并行计算框架主从结构:主节点:只有一个:JobTracker从节点:TaskTrackerJobTracker负责:Jobtracker和tasktracker相当于项目经理与开发人员的关系接收客户提交的计算任务-分配任务给task执行-监控task执行情况Tasktracker:HADOOP特点:扩容,成本低,高效率,可靠性Namenode,jobtracker本身是java进程2. HADOOP部署方式本地模式:伪分布模式:(视频学习)集群模式:(生产中用到的都是集群模式)安装前准备软件:Vitual Box(虚拟机)centOSJdk.binHa
9、doop 1.2伪分布模式安装步骤:Oracle VM VirtualBox安装1. 设置网络:连接方式:1. 仅主机方式 Ip:192.168.56.1 255.255.255.0 192.168.56.1DNS:192.168.56.12. 桥接(局域网内互通，但是ip不能冲突2. 登录linux:Other:用户名:root,密码:itcast3. 编辑网络连接:勾选connet automaticallyAvailable to all usersIpv4设置 ：选择manual-add192.168.56.100 255.255.255.0 192.168.56.1确定4. 设置完成
10、之后执行命令service network restart (重启网卡) 4个 ok验证:ifconfig(查看IP是否设置成功)5. 安装pietty192.168.56.100 ok6. 安装winscp路径: C:ehadoopbegin学员复制整个文件夹(hadoop1)学员复制整个文件夹softwarewinscp516setup.exe7. 关闭防火墙执行命令service iptables stop验证:service iptables status (firewall is not runnning 防火墙没有运行)8.关闭防火墙的自动运行执行命令chkconfig iptab
11、les off验证:chkconfig -list | grep iptables (下面的选项全部关闭)9.设置主机名执行命令(1)hostname chaoren(修改主机名) 仅对当前会话生效,没有保存,重启则失效(2)vi /etc/sysconfig/network (修改此文件才是真正生效) NETWORKING=yes HOSTNAME=chaoren 重启reboot生效10. ssh操作ssh chaoren12 设置ssh免密码登陆执行命令(1)ssh-keygen -t rsa 一直回车 cd /root/.ssh/(2)cp id_rsa.pub authorized_
12、keys验证： exit ssh localhost ssh chaoren 报错13.ip与hostname绑定执行命令vi /etc/hosts增加一行 192.168.56.100 chaoren 保存退出验证:ping chaorenssh chaoren 安装jdk 1.打开winscp 输入ip:192.168.56.100 root itcast 保存 添加/usr/local 目录 把jdk上传至该目录 Jdk本地路径:C:ehadoopbegin学员复制整个文件夹(hadoop1)学员复制整个文件 夹softwarejdk-6u24-linux-i586.bin 2.开始安装
13、jdk 解压缩执行命令(1)cd /usr/local(2)chmod u+x jdk-6u24-linux-i586.bin 赋权,执行权限(3)./jdk-6u24-linux-i586.bin 安装命令(4)mv jdk-1.6.0_24 jdk 重命名(5)vi /etc/profile 增加内容如下: export JAVA_HOME=/usr/local/jdkexport PATH=.:$JAVA_HOME/bin:$PATH (6)source /etc/profile 刷新生效验证:到目录cd jdk/bin 输入java -version安装hadoop Hadoop 本地路径:C:ehadoopbegin学员复制整个文件夹(hadoop1)学员复制整个文件夹softwarehadoop-1.1.2.tar.gz 上传到linux usr/local 下执行命令 tar -xzvf hadoop-1.1.2.tar.gz 解压 mv hadoop-1.1.2 hadoop 重命名 Hadoop下的目录说明: Conf 目录放配置文件 bin 执行文件
