《hadoop集群内lzo的安装与配置》由会员分享，可在线阅读，更多相关《hadoop集群内lzo的安装与配置（6页珍藏版）》请在金锄头文库上搜索。
1、hadoop集群内lzo的安装与配置操作系统：CentOS 5.5，Hadoop版本：hadoop-CDH3B4 安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器，另外，还需要lzo-devel依赖 配置lzo的文件：core-site.xml、mapred-site.xml大致步骤：1）安装和更新gcc、ant2）在各个节点安装lzo3）安装lzo编码/解码器4）修改配置文件，并同步各节点的配置文件注：没有特别指出的话，所有操作都是在Namenode中进行的一、lzo库安装：1、gcc的安装：yum即可，记得同时更新lib*、glibc*、gcc*2、ant的安装： 删除旧
2、版本：yum remove ant 安装新版本： wget http:/ tar zxvf apache-ant-1.8.2-bin.tar.gz# vi /etc/profileexport ANT_HOME=/usr/local/apache-ant-1.8.2export PATH=$PATH:$ANT_HOME/binsource /etc/profile 使配置文件生效lzo的安装wget http:/ -zxvf lzo-2.04.tar.gzcd lzo-2.04./configure -enable-sharedmake & make install库文件被默认安装到了/usr
3、/local/lib，我们需要进一步指定lzo库文件的路径，两个方法都可以： 1)拷贝/usr/local/lib目录下的lzo库文件到/usr/lib（32位平台），或/usr/lib64（64位平台） 2)在/etc/ld.so.conf.d/目录下新建lzo.conf文件，写入lzo库文件的路径，然后运行/sbin/ldconfig -v，使配置生效在各个节点安装lzo： Namenode和Datanode都要安装lzo！ 所需软件包：g-devel-2.02-3.el5.rf.x86_64.rpm安装lzo2-2.02-3.el5.rf.x86_64.rpm、lzo2-devel-2.
4、02-3.el5.rf.x86_64.rpm。# rpm -ivh lzo2-2.02-3.el5.rf.x86_64.rpm# rpm -ivh lzo2-devel-2.02-3.el5.rf.x86_64.rpmlzo编码/解码器的安装这里必须要说明：如果hadoop是cloudera版的，那么lzo编码/解码器就不要用google官方的那个！到这里下载：https:/ tar zxvf kevinweil-hadoop-lzo-23e8370.tar.gz# cd kevinweil-hadoop-lzo-23e8370#export CFLAGS=-m64#ant compile-n
5、ative tar编译成功后，还需要把编码/解码器以及native库拷贝到$HADOOP_HOME/lib目录下# cp build/hadoop-lzo-0.4.13.jar /usr/local/hadoop/lib/#tar -cBf - -C build/native . | tar -xBvf - -C /usr/local/hadoop/lib/native# cd /usr/local/hadoop/lib/# chown -R hadoop:hadoop native/同步各节点的hadoop-lzo-0.4.10.jar和hadoop的native目录配置lzo： 1、主要是
6、往hadoop目录下conf目录中的core-site.xml和mapred-site.xml文件添加一些属性：vi core-site.xml 添加配置press.GzipCodec,press.DefaultCodec,pression.lzo.LzoCodec,pression.lzo.LzopCodec,press.BZip2Cpression.lzo.LzoCodecvi mapred-site.xml：presstruemapred.child.envJAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native/Linux-amd64-pressio
7、n.lzo.LzoCodec同步各节点的配置文件！hadoop集群内测试lzo： 首先，安装lzop，生成一些lzo文件wget http:/www.lzop.org/download/lzop-1.03.tar.gztar -zxvf lzop-1.03cd lzop-1.03export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib./configuremake & make install压缩日志文件lzop -U -9 nginx.log利用hive导入到hdfs中hive load data local inpath /home/lo
8、g/nginx.log.lzo overwrite into table nginxlog;测试hive语句 hiveselect count(1) from nginxlog;如果出现错误Failed with exception java.io.IOException:java.lang.RuntimeException: native-lzo library not available删除$HADOOP_HOME/lib目录下的hadoop-gpl-compression-0.1.0.jarcd kevinweil-hadoop-lzo-23e8370/build/native/Linux-amd64-64/libcp * $HADOOP_HOME/lib/native/Linux-amd64-64重启hadoop测试hive语句即可成功执行
