《chukwa0.4.0详细安装部署》由会员分享，可在线阅读，更多相关《chukwa0.4.0详细安装部署（8页珍藏版）》请在金锄头文库上搜索。
1、1.安装好hadoop，确保hadoop运行无误（我hadoop版本为0.20.2）2.去官网上下载chukwa 0.4.0版本：http:/www.apache.org/dyn/closer.cgi/hadoop/chukwa/chukwa-0.4.03.下载后别急着分发到各个节点，因为代码中存在着一个bug，这个bug会影响后面hicc的显示，所以需要经过修改编译以后再将其分发到各个节点上比较好！修改编译具体过程如下：（1）源代码中找到ViewStore.java（package org.apache.hadoop.chukwa.datastore）在函数JSONArray list(St
2、ring uid) 中，大概210行左右修改：FileStatus fstatus = fs.listStatus(viewFile); if(fstatus!=null) for(int i=0;ifstatus.length;i+) + if(!fstatusi.getPath().getName().endsWith(.view) + continue;+ long size = fstatusi.getLen(); FSDataInputStream viewStream = fs.open(fstatusi.getPath(); byte buffer = new byte(int)
3、size;（2）然后在$CHUKWA_HOME/输入ant，重新编译会在$CHUKWA_HOME/build/目录下得到编译后的文件（3）将$CHUKWA_HOME/build/chukwa-core-0.4.0.jar 拷贝到$CHUKWA_HOME，将$CHUKWA_HOME/build/chukwa.war拷贝到$CHUKWA_HOME/webapps当中4.配置各个节点的环境变量，最好在/.bash_profile当中配好，下面是我的配置：export JAVA_HOME=/usr/java/jdk1.6.0_16export JRE_HOME=/usr/java/jdk1.6.0_1
4、6/jreexport HADOOP_VERSION=0.20.2export HADOOP_HOME=/home/hadoop/hadoop-$HADOOP_VERSIONexport CHUKWA_HOME=/home/zhangliuhang/chukwa/export ANT_HOME=/usr/ant/ant-1.7.0export PATH=.:$PATH: $JAVA_HOME/bin:$HADOOP_HOME/bin:$CHUKWA_HOME/bin:$ANT_HOME/binexport CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JRE_HOM
5、E/lib:$ANT_HOME/lib:$HADOOP_HOME/hadoop-$HADOOP_VERSION-core.jar:$HADOOP_HOME/lib/*:$HADOOP_HOME/lib/commons-logging-1.0.4.jar:$ANT_HOME/junit-3.8.1.jar:$HADOOP_HOME/ivy/ivy-2.0.0-rc2.jar:$HADOOP_HOME/lib/commons-logging-api-1.0.4.jar:$HADOOP_HOME/lib/log4j-1.2.15.jar:$HADOOP_HOME/lib/hadoop-lzo-0.4
6、.8.jar export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib:/home/hadoop/hadoop-0.20.2/lib/native/Linux-amd64-64export JAVA_LIBRARY_PATH=/home/hadoop/hadoop-0.20.2/lib/native/Linux-amd64-64export javalibpath=/home/hadoop/hadoop-0.20.2/lib/native/Linux-amd64-645.配置$CHUKWA_HOME/conf/chukwa-env.sh文件,
7、其中的我的配置如下：（我只列出了没有被我注释掉的）export JAVA_HOME=/usr/java/jdk1.6.0_16export HADOOP_HOME=/home/hadoop/hadoop-0.20.2export HADOOP_CONF_DIR=/home/hadoop/hadoop-0.20.2/conf/export HADOOP_JAR=$HADOOP_HOME/hadoop-0.20.2-core.jarexport chukwaRecordsRepository=/chukwa/repos/export CHUKWA_DATA_DIR=$CHUKWA_HOME/dat
8、aexport CHUKWA_IDENT_STRING=chukwaexport JAVA_PLATFORM= Linux-amd64-64export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native/$JAVA_PLATFORMexport JDBC_DRIVER=com.mysql.jdbc.Driverexport JDBC_URL_PREFIX=jdbc:mysql:/export CHUKWA_HICC_MIN_iMEM=300Mexport CHUKWA_HICC_MAX_MEM=300M6.将必要的库从$CHUKWA_HOME/及$CHUKWA
9、_HOME/lib拷贝到$HADOOP_HOME/lib当中，我拷贝的库有：Chukwa-agent-0.4.0.jar,chukwa-hadoop-0.4.0-client.jar,tools-0.4.0.jar,json.jar7.配置Agent（1）配置$CHUKWA_HOME/conf/initial_adaptors cp initial_adaptors.template initial_adaptors （2）配置$CHUKWA_HOME/conf/chukwa-agent-conf.xml (我只列出我修改的地方) chukwaAgent.tags cluster=zlhchu
10、kwa The clusters name for this agent（3）配置$CHUKWA_HOME/conf/agents文件，我的配置如下所示： gd115 gd116 gd117（4）配置$CHUKWA_HOME/conf/Collectors文件，我的配置如下： http:/10.10.104.116:9927/（注：从这个地方可以看出来Collectors和agents是通过http进行联系的，此处最好要用ip，不要用其他代号，因为可能访问不到）（5）测试启动agents看每个节点上的agent否启动成功 执行$CHUKWA_HOME/bin/ start-agents.sh
11、此时应该会在各个节点上通过jps可以看到有一个进程叫做ChukwaAgent， 可以试着telnet localhost 9093 然后list看一下各个adaptor是否启动（6）关闭agents 执行$CHUKWA_HOME/bin/stop-agents.sh, 假如关闭不了ChukwaAgent进程可以修改$CHUKWA_HOME/bin/chukwa文件 找到关键字kill 然后将后面的数值改成kill -9（7）在关闭hadoop的状态下，将$CHUKWA_HOME/conf/hadoop-logs4j.properties覆盖 $HADOOP_HOME/conf/log4j.pr
12、operties 修改$CHUKWA_HOME/conf/hadoop-metrics.properties中的TODO-CHUKWA_LOG_DIR改为： /home/zhangliuhang/chukwa/logs/,然后将该文件覆盖掉 $HADOOP_HOME/conf/hadoop-metrics.properties 在做这一步的时候最好将原文件进行备份（正确的启动顺序是先启动hadoop，再启动collectors，然后才启动agents，在做完第（6）小步后，假如此时启动hadoop，会发现他可能报错，假如只出现以下出错信息：Error initializing ChukwaCl
13、ient with list of currently registered adaptors,clearing our local list of adaptors,可以置之不理的，但是其他错误不行）8.配置Collectors（1）配置$CHUKWA_HOME/conf/chukwa-collector-conf.xml文件，我的配置如下：（我只给出了我修改的部分） writer.hdfs.filesystem hdfs:/gd115:9989/ HDFS to dump to （注意，此处配置的信息应该和$HADOOP_HOME/conf/core-site.xml当中的fs.default.name内容一致，因为collectors需要将从agents收集到的信息存储到hdfs上面去） chukwaCollector.outputDir /chukwa/logs/ Chukwa data sink directory （注意，此配置强烈要求不要更改，这个目录是collectors写到hdfs上面的目录，假如这个目录变了，那么会导致后面的一些进程找不到hdfs上/chukwa/l
