AI 助理
备案控制台
开发者社区 人工智能 文章 正文

Mahout学习之Mahout简介、安装、配置、入门程序测试

2014-06-19 1472
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 原文地址：http://blog.csdn.net/aaronhadoop/article/details/24577221一、Mahout简介查了Mahout的中文意思——驭象的人，再看看Mahout的logo，好吧，想和小黄象happy地玩耍，得顺便陪陪这位驭象人耍耍了...附logo：（就是他，骑在象头上的那个Mahout） 步入正文啦：       Mahout 是一个

原文地址：http://blog.csdn.net/aaronhadoop/article/details/24577221

一、Mahout简介

查了Mahout的中文意思——驭象的人，再看看Mahout的logo，好吧，想和小黄象happy地玩耍，得顺便陪陪这位驭象人耍耍了...

附logo：

（就是他，骑在象头上的那个Mahout） 


步入正文啦：

       Mahout 是一个很强大的数据挖掘工具，是一个分布式机器学习算法的集合，包括：被称为Taste的分布式协同过滤的实现、分类、聚类等。Mahout最大的优点就是基于hadoop实现，把很多以前运行于单机上的算法，转化为了MapReduce模式，这样大大提升了算法可处理的数据量和处理性能。

在Mahout实现的机器学习算法：

算法类

算法名

中文名

分类算法

Logistic Regression

逻辑回归

Bayesian

贝叶斯

SVM

支持向量机

Perceptron

感知器算法

Neural Network

神经网络

Random Forests

随机森林

Restricted Boltzmann Machines

有限波尔兹曼机

聚类算法

Canopy Clustering

Canopy聚类

K-means Clustering

K均值算法

Fuzzy K-means

模糊K均值

Expectation Maximization

EM聚类（期望最大化聚类）

Mean Shift Clustering

均值漂移聚类

Hierarchical Clustering

层次聚类

Dirichlet Process Clustering

狄里克雷过程聚类

Latent Dirichlet Allocation

LDA聚类

Spectral Clustering

谱聚类

关联规则挖掘

Parallel FP Growth Algorithm

并行FP Growth算法

回归

Locally Weighted Linear Regression

局部加权线性回归

降维/维约简

Singular Value Decomposition

奇异值分解

Principal Components Analysis

主成分分析

Independent Component Analysis

独立成分分析

Gaussian Discriminative Analysis

高斯判别分析

进化算法

并行化了Watchmaker框架

 

推荐/协同过滤

Non-distributed recommenders

Taste(UserCF, ItemCF, SlopeOne）

Distributed Recommenders

ItemCF

向量相似度计算

RowSimilarityJob

计算列间相似度

VectorDistanceJob

计算向量间距离

非Map-Reduce算法

Hidden Markov Models

隐马尔科夫模型

集合方法扩展

Collections

扩展了java的Collections类

二、Mahout安装、配置  

一、下载Mahout
http://archive.apache.org/dist/mahout/

二、解压
tar -zxvf mahout-distribution-0.9.tar.gz

三、配置环境变量
3.1、配置Mahout环境变量
# set mahout environment
export MAHOUT_HOME=/home/yujianxin/mahout/mahout-distribution-0.9
export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf
export PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATH
3.2、配置Mahout所需的Hadoop环境变量
 # set hadoop environment
export HADOOP_HOME=/home/yujianxin/hadoop/hadoop-1.1.2 
export HADOOP_CONF_DIR=$HADOOP_HOME/conf 
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=not_null

四、验证Mahout是否安装成功
        执行命令mahout。若列出一些算法，则成功，如图：
        
       
五、使用Mahout 之入门级使用
5.1、启动Hadoop
5.2、下载测试数据
            http://archive.ics.uci.edu/ml/databases/synthetic_control/链接中的synthetic_control.data
5.3、上传测试数据
hadoop fs -put synthetic_control.data /user/root/testdata
5.4  使用Mahout中的kmeans聚类算法，执行命令：
mahout -core  org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
花费9分钟左右完成聚类 。 
5.5 查看聚类结果
    执行hadoop fs -ls /user/root/output，查看聚类结果。

齐活，收工。Mahout继续学习中......

文章标签：
算法
数据挖掘
分布式计算
Hadoop
Java
机器学习/深度学习
搜索推荐
关键词：
测试入门
安装测试
学习安装测试
学习配置测试
测试学习
傲海
目录
相关文章
游客sjjs6jgz4gp7m1
|
11天前
|
测试技术 持续交付 开发者
探索自动化测试的无限可能：从入门到精通
在软件开发领域，确保产品质量是至关重要的。自动化测试作为一种高效、可靠的测试方法，正逐渐成为行业标准。本文将带你深入了解自动化测试的世界，从基础概念到实践技巧，帮助你掌握这一强大的工具。无论你是初学者还是有经验的开发者，都能从中获得宝贵的知识和启发。
游客sjjs6jgz4gp7m1
25 2
郑小健
|
12天前
|
Java 测试技术 开发者
初学者入门：掌握单元测试的基础与实践
【10月更文挑战第14天】单元测试是一种软件测试方法，它验证软件中的最小可测试单元——通常是单独的函数或类——是否按预期工作。单元测试的目标是确保每个模块在其自身范围内正确无误地运行。这些测试应该独立于其他模块，并且应该能够反复执行而不受外部环境的影响。
郑小健
36 2
zzy的aly
|
18天前
|
自然语言处理 机器人 Python
ChatGPT使用学习：ChatPaper安装到测试详细教程（一文包会）
ChatPaper是一个基于文本生成技术的智能研究论文工具，能够根据用户输入进行智能回复和互动。它支持快速下载、阅读论文，并通过分析论文的关键信息帮助用户判断是否需要深入了解。用户可以通过命令行或网页界面操作，进行论文搜索、下载、总结等。
zzy的aly
37 1
ChatGPT使用学习：ChatPaper安装到测试详细教程（一文包会）
dream_ready
|
27天前
|
测试技术 网络安全
什么是软件测试？ 软件测试都有什么岗位 ？软件测试和调试的区别？ 软件测试和开发的区别？ 一位优秀的测试人员应该具备哪些素质？ 软件测试等相关概念入门篇
文章全面介绍了软件测试的基本概念、目的、岗位分类、与开发和调试的区别，并阐述了成为优秀测试人员应具备的素质和技能。
dream_ready
106 1
什么是软件测试？ 软件测试都有什么岗位 ？软件测试和调试的区别？ 软件测试和开发的区别？ 一位优秀的测试人员应该具备哪些素质？ 软件测试等相关概念入门篇
武子康
|
22天前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
武子康
39 1
dream_ready
|
26天前
|
前端开发 JavaScript 应用服务中间件
linux安装nginx和前端部署vue项目（实际测试react项目也可以）
本文是一篇详细的教程，介绍了如何在Linux系统上安装和配置nginx，以及如何将打包好的前端项目（如Vue或React）上传和部署到服务器上，包括了常见的错误处理方法。
dream_ready
69 0
linux安装nginx和前端部署vue项目（实际测试react项目也可以）
jianz123
|
13天前
|
测试技术 PHP 开发工具
php性能监测模块XHProf安装与测试
【10月更文挑战第13天】php性能监测模块XHProf安装与测试
jianz123
15 0
zzy的aly
|
17天前
|
JSON 算法 数据可视化
测试专项笔记(一): 通过算法能力接口返回的检测结果完成相关指标的计算（目标检测）
这篇文章是关于如何通过算法接口返回的目标检测结果来计算性能指标的笔记。它涵盖了任务描述、指标分析（包括TP、FP、FN、TN、精准率和召回率），接口处理，数据集处理，以及如何使用实用工具进行文件操作和数据可视化。文章还提供了一些Python代码示例，用于处理图像文件、转换数据格式以及计算目标检测的性能指标。
zzy的aly
29 0
测试专项笔记(一): 通过算法能力接口返回的检测结果完成相关指标的计算（目标检测）
顾翔
|
2月前
|
移动开发 JSON Java
Jmeter实现WebSocket协议的接口测试方法
WebSocket协议是HTML5的一种新协议，实现了浏览器与服务器之间的全双工通信。通过简单的握手动作，双方可直接传输数据。其优势包括极小的头部开销和服务器推送功能。使用JMeter进行WebSocket接口和性能测试时，需安装特定插件并配置相关参数，如服务器地址、端口号等，还可通过CSV文件实现参数化，以满足不同测试需求。
顾翔
191 7
Jmeter实现WebSocket协议的接口测试方法
顾翔
|
2月前
|
JSON 移动开发 监控
快速上手｜HTTP 接口功能自动化测试
HTTP接口功能测试对于确保Web应用和H5应用的数据正确性至关重要。这类测试主要针对后台HTTP接口，通过构造不同参数输入值并获取JSON格式的输出结果来进行验证。HTTP协议基于TCP连接，包括请求与响应模式。请求由请求行、消息报头和请求正文组成，响应则包含状态行、消息报头及响应正文。常用的请求方法有GET、POST等，而响应状态码如2xx代表成功。测试过程使用Python语言和pycurl模块调用接口，并通过断言机制比对实际与预期结果，确保功能正确性。
顾翔
197 3
快速上手｜HTTP 接口功能自动化测试

热门文章

最新文章

  • 1
    [推荐系统]Mahout中相似度计算方法介绍
  • 2
    mahout0.11 taste框架推荐引擎api
  • 3
    《Mahout算法解析与案例实战》一一
  • 4
    《Mahout算法解析与案例实战》一一3.2　K-Means算法
  • 5
    Mahout学习系列之推荐算法
  • 6
    《大数据架构和算法实现之路：电商系统的技术实战》——1.5　相关软件：R和Mahout
  • 7
    Mahout聚类算法学习之Canopy算法的分析与实现
  • 8
    《Mahout算法解析与案例实战》一一3.3　Mean Shift算法
  • 9
    《Mahout算法解析与案例实战》一一2.1　Mahout安装前的准备
  • 10
    《Mahout算法解析与案例实战》一一1.1　Mahout应用背景
  • 1
    《手把手教你》系列技巧篇（九）-java+ selenium自动化测试-元素定位大法之By name（详细教程）
    114
  • 2
    提升龙蜥内核测试能力！探究持续性模糊测试优化实践
    98
  • 3
    软件测试中的自动化工具与策略
    46
  • 4
    如何进行移动应用的测试？
    71
  • 5
    深入理解与应用软件自动化测试工具Selenium
    55
  • 6
    测试环境的数据库连不了，打包报错怎么办
    37
  • 7
    深入探究App压力测试的关键要点：从零开始学习Monkey
    98
  • 8
    【软件设计师备考 专题 】测试要求说明书的编写和应用
    107
  • 9
    【软件设计师备考 专题 】系统实施：程序设计和系统测试
    103
  • 10
    【软件设计师备考 专题 】可靠性测试和可靠性评估
    155

    • 相关课程

    更多
  • MSE微服务测试最佳实践 - 自动化回归
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段

    • 相关电子书

    更多
  • 移动互联网测试到质量的转变
  • 给ITer的技术实战进阶课-阿里CIO学院独家教材（四）
  • F2etest — 多浏览器兼容性测试整体解决方案

    • 相关实验场景

    更多
  • 搭建Hadoop环境
  • 搭建Java Web开发环境
  • Python新手入门
  • 快速上手并跑通AnalyticDB PostgreSQL版TPC-H测试
  • 灵活弹性的PolarDB Serverless确保数据业务持续在线
  • 实验手册指导文档
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月