《mahout安装测试》由会员分享,可在线阅读,更多相关《mahout安装测试(4页珍藏版)》请在金锄头文库上搜索。
1、步入正文啦: Mahout是一个很强大的数据挖掘工具,是一个分布式机器学习算法的集合,包括:被称为Taste的分布式协同过滤的实现、分类、聚类等。Mahout最大的优点就是基于hadoop实现,把很多以前运行于单机上的算法,转化为了MapReduce模式,这样大大提升了算法可处理的数据量和处理性能。在Mahout实现的机器学习算法:算法类算法名中文名分类算法Logistic Regression逻辑回归Bayesian贝叶斯SVM支持向量机Perceptron感知器算法Neural Network神经网络Random Forests随机森林Restricted Boltzmann Machin
2、es有限波尔兹曼机聚类算法Canopy ClusteringCanopy聚类K-means ClusteringK均值算法Fuzzy K-means模糊K均值Expectation MaximizationEM聚类(期望最大化聚类)Mean Shift Clustering均值漂移聚类Hierarchical Clustering层次聚类Dirichlet Process Clustering狄里克雷过程聚类Latent Dirichlet AllocationLDA聚类Spectral Clustering谱聚类关联规则挖掘Parallel FP Growth Algorithm并行FP G
3、rowth算法回归Locally Weighted Linear Regression局部加权线性回归降维/维约简Singular Value Decomposition奇异值分解Principal Components Analysis主成分分析Independent Component Analysis独立成分分析Gaussian Discriminative Analysis高斯判别分析进化算法并行化了Watchmaker框架推荐/协同过滤Non-distributed recommendersTaste(UserCF, ItemCF, SlopeOne)Distributed Reco
4、mmendersItemCF向量相似度计算RowSimilarityJob计算列间相似度VectorDistanceJob计算向量间距离非Map-Reduce算法Hidden Markov Models隐马尔科夫模型集合方法扩展Collections扩展了java的Collections类二、Mahout安装、配置一、下载Mahouthttp:/archive.apache.org/dist/mahout/二、解压tar -zxvfmahout-distribution-0.9.tar.gz3、 配置环境变量在etc/profile中配置3.1、配置Mahout环境变量# set mahout
5、 environmentexport MAHOUT_HOME=/home/yujianxin/mahout/mahout-distribution-0.9export MAHOUT_CONF_DIR=$MAHOUT_HOME/confexport PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATH3.2、配置Mahout所需的Hadoop环境变量# set hadoop environmentexport HADOOP_HOME=/home/yujianxin/hadoop/hadoop-1.1.2export HADOOP_CONF_DIR=$HADO
6、OP_HOME/confexport PATH=$PATH:$HADOOP_HOME/binexport HADOOP_HOME_WARN_SUPPRESS=not_null四、验证Mahout是否安装成功 执行命令mahout。若列出一些算法,则成功,如图: 五、使用Mahout 之入门级使用5.1、启动Hadoop5.2、下载测试数据 http:/archive.ics.uci.edu/ml/databases/synthetic_control/链接中的synthetic_control.data5.3、上传测试数据hadoop fs -put synthetic_control.data/user/root/testdata5.4 使用Mahout中的kmeans聚类算法,执行命令:hadoop jar /home/xxs/mahout-distribution-0.9/mahout-examples-0.9-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job花费9分钟左右完成聚类 。5.5 查看聚类结果 执行hadoop fs -ls /user/root/output,查看聚类结果。