AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Hadoop Summit Tokyo 2016】Hivemall: Apache Hive/Spark/Pig 的可扩展机器学习库

2017-02-26 2895
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自 Makoto YUI与NTT Takashi Yamamuro在Hadoop Summit Tokyo 2016上的演讲，主要介绍了Hivemall的相关知识以及Hivemall在Spark上的应用，Hivemall是可以用于Apache Hive/Spark/Pig 的可扩展机器学习库。

本讲义出自 Makoto YUI与NTT Takashi Yamamuro在Hadoop Summit Tokyo 2016上的演讲，主要介绍了Hivemall的相关知识以及Hivemall在Spark上的应用，Hivemall是可以用于Apache Hive/Spark/Pig 的可扩展机器学习库。

38a72cf50b1487f735d04f99b8ba12a1c651cd26

8b0ffbbf49e9286af7777af51ea3c5ed57f6e887

d6e244ce25007e23917e2389b265bd79261f8c35

35ffac456343b8b96ac26aaac8577804cb55444e

af9c67fd51ebc8284ef43980b9b8bc8979e60130

628bfb3565fa941d64a4be4408653016ac4d0852

62888374bea14c6fdb47f27c66d2ab364f131f56

079d02bcfd1c2b7c9f397d4764adadb59982fc0b

2654487cd4371799929ce934bb45d08f3787365c

79dbaf7f384b6517ea45521d040be3a44c501a20

d3cbc17d7482485ed8171f23395f905646b357ff

7f72c44d30fcd5e21465027805b47330ff517ecb

aff11182286cff4cbf2b185b2c8528f646871dd1

de897829bbea1c74f53688e6e6d73c48ba928e5f

2479f6eb185758ee114f9dd0670d12eab9289342

5fd6235a5869e642c533d9dc7963d53fc32b8e4f

4012fc3adbb819825d3cebfd636b140d3e52fe4c

17a4e6d124aefe3b545b4e6482459654a3936e5a740d1424c657dbfb3faa80b9e1ec8bfdc5df1df1baf178493e2ecf11fb10ada72320a91ea3d9d287

b3b11d76ca0607225e0d342492cdd294b3ef0a76

2a8d9d8a5b9d0b44f13c94a4b4d7d693f4d0fb48

8ac1f5fe8ae78569ca4b0f5d4d6b53bf378b2009

1e064739492ee36459273b00f131b17aefaa9456

c169fe59e1507c9bb3f38136e9a2926426247ffa

81d8f5126adb59fc9355ba1d5591c0e32ffae7bd

63fe9dfc1e197bfe8dce0279552789208fcfe558

1e166f0606ccec3858311433affedc56c09c03ab

83cdf0c700e94a0ef82c099f3501b9fb8ffbbdc4

b1baffac432242bfbc37533110790270b4887fe0

4d651eaa0567337e69d62dd3dea5260e773ea6de

ab614afd1bf2dc69cb07532518a4573f56225a42

e286be70ee3500ab7e79eeeb599e40dd3c7a157b

4ab723820d39e3eb1fb3702d8d70e72b59b9be36

17359a0c821101b47382374603cef0ed74855e29

1011b08ddd3ab2dbf097e04bb3258d63fbf8c60f

023bb401e90c10e11dde191ab168f5c45c6f612a

9edc50bfd2ae28e4863d43bde9935ea771271b58

f4f26cf3ab7c3e926b7b90da4b31471a48d308d2

092ef23077cdebf8176073af08cafdced717cc11

71b325afe0f40462fe1495c18be6bbaf181b6e04

71d331bf84eef3374e7245aac43d7fb7f346efca

71303ceec8ad1e2954e484ee3e6bd18609424878

a14d37905fe3c19cdf968a29d47e92c3a9bdb07b

697c99f7eeea33230f0553784b302d22302750e1

0853f684760854c56665a7f643bd8922313cf62f

990ccf55cd570b6e25f309bc2efafcc2786ae318

656780437717dfc2f98796e6752b58201ee75d36

ccdb1e555698618f6c098f647a440a25e685a9a2

e798c8e8fa69b798a4d7ad5abad0345a9aa523be

1ffb2e165171419514ab9cca2818a5c9f25f48a5

93e0f432d159854e2969005e6fed07928a450a22

32d9bbad9ad7e04895beb877e8bedae63a46bc93

6ec5b3ef2409197faf2360d19dd6319a42daadb1

bf908ca3e45efa77998915d3cb10de19ea3c8dc8

fbc1acba4fc906300ebbf03209d883dff1c0b14c

f6246d3f09198e49529a5d6eae089de088a47e86


文章标签：
人工智能平台 PAI
Apache
分布式计算
Spark
SQL
HIVE
关键词：
hadoop apache spark
hadoop spark
Hive spark
hive apache spark
spark人工智能平台 PAI
相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架，基于全参方法微调 Qwen2-VL模型，使其能够进行文旅领域知识问答，同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，它是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。 本课程将带你入门机器学习，掌握机器学习的概念和常用的算法。
小猫吃鱼569
目录
相关文章
武子康
|
SQL 分布式计算 关系型数据库
Hadoop-13-Hive 启动Hive 修改启动参数命令行启动测试 几句简单的HQL了解Hive
Hadoop-13-Hive 启动Hive 修改启动参数命令行启动测试 几句简单的HQL了解Hive
武子康
445 2
阿里云大数据
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈，微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark，微财突破了单机训练使用的数据规模瓶颈，大幅提升了训练效率，解决了存算分离架构下 Shuffle 稳定性和性能困扰，为智能风控等业务提供了强有力的技术支撑。
阿里云大数据
644 15
小Tomkk
|
SQL 分布式计算 Hadoop
Apache Hive 帮助文档
Apache Hive 帮助文档
小Tomkk
806 9
龙大吉
|
分布式计算 大数据 Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
龙大吉
461 1
LKIDTI数据
|
SQL 分布式计算 Hadoop
手把手的教你搭建hadoop、hive
手把手的教你搭建hadoop、hive
LKIDTI数据
1160 1
武子康
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
武子康
416 3
武子康
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
武子康
319 2
武子康
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
401 0
wljslmz
|
SQL 分布式计算 数据处理
Apache Pig 相对于 MapReduce 的优势：详细解读
【8月更文挑战第31天】
wljslmz
462 0
郑小健
|
机器学习/深度学习 存储 分布式计算
Hadoop与机器学习的融合：案例研究
【8月更文第28天】随着大数据技术的发展，Hadoop已经成为处理大规模数据集的重要工具。同时，机器学习作为一种数据分析方法，在各个领域都有着广泛的应用。本文将介绍如何利用Hadoop处理大规模数据集，并结合机器学习算法来挖掘有价值的信息。我们将通过一个具体的案例研究——基于用户行为数据预测用户留存率——来展开讨论。
郑小健
887 0

热门文章

最新文章

  • 1
    阿里巴巴瑾谦/沐远：云HBaseSQL及分析——Phoenix&Spark
  • 2
    【译】使用Spark SQL 运行大规模基因组工作流
  • 3
    云栖社区2019年1月技术活动：PG， Java，Spark等30+场预告【持续更新】
  • 4
    【Spark Summit East 2017】使用Spark进行时间序列分析
  • 5
    钉钉群直播【Spark Relational Cache 原理和实践】
  • 6
    数据处理平台架构中的SMACK组合：Spark、Mesos、Akka、Cassandra以及Kafka
  • 7
    Spark分布式内存计算框架
  • 8
    spark on k8s 镜像构建
  • 9
    8月28日社区直播【Spark Streaming SQL流式处理简介】
  • 10
    Spark运行流程概述
  • 1
    深度学习500问——Chapter02：机器学习基础（5）
    287
  • 2
    深度学习500问——Chapter02：机器学习基础（2）
    422
  • 3
    深度学习500问——Chapter02：机器学习基础（1）
    368
  • 4
    【机器学习】样本、特征、标签：构建智能模型的三大基石
    6861
  • 5
    【机器学习】包裹式特征选择之基于模型的特征选择法
    601
  • 6
    利用机器学习优化数据中心的能源效率
    313
  • 7
    利用机器学习优化数据中心的能源效率
    304
  • 8
    构建高效机器学习模型的策略与实践
    174
  • 9
    利用机器学习算法改善电商推荐系统的效率
    687
  • 10
    构建高效机器学习模型的策略与实践
    225

    • 相关课程

    更多
  • 场景实践 - 机器学习PAI实现精细化营销
  • 场景实践 - 基于阿里云PAI机器学习平台使用时间序列分解模型预测商品销量
  • 机器学习概览及常见算法
  • 机器学习入门-概念原理及常用算法
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Apache Flink技术进阶
  • Apache Spark: Cloud and On-Prem
  • Hybrid Cloud and Apache Spark

    • 相关实验场景

    更多
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • 搭建Hadoop环境
  • 在PAI ArtLab一键设计AIGC新春红包

    • 推荐镜像

    更多
  • apache
    • 下一篇
    阿里云 AI安全护栏2.0发布Agent运行时防护，抓住“自主执行任务”的“虾”