备案控制台
探索云世界
开发者社区 大数据 文章 正文

【Spark Summit East 2017】使用Spark进行带有高维度标签的机器学习

2017-02-20 2214
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Stefan Panayotov与Michael Zargham 在Spark Summit East 2017上的演讲，主要介绍了在Stefan Panayotov和团队使用Spark进行带有高维度标签的机器学习的过程中使用到的工具，遇到的障碍以及围绕使用Databricks尝试构建用于预测不同电视节目的收视率以及人口统计数据的客户机器学习模型所做的工作。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Stefan Panayotov与Michael Zargham 在Spark Summit East 2017上的演讲，主要介绍了在Stefan Panayotov和团队使用Spark进行带有高维度标签的机器学习的过程中使用到的工具，遇到的障碍以及围绕使用Databricks尝试构建用于预测不同电视节目的收视率以及人口统计数据的客户机器学习模型所做的工作。


d1dc9b21dd6e43d122699c8f3ed6d047c57cf7a2

b093f8bf1408b47b7756e65ca442f902d1ce8191

b60bc6817f5ef62e3c3cffe8445ad79dce989edb

56b86b11e8668ec8b266d4eae310e4d41d687dc6

08dd55301563d74636ec5eb8c296d662d4f2eb6f

50bd7a21aef59bad808713cd7eaba86a620d0b58

b3610f68d92cc5a35b4db720216036c0f6c04fea

613e4c9250b05b819f552e25166d1329929fd69b

c5f6e0dea9f15954e969cfbbffb0684c14aac13b

d681410a290ca12fc8bd3625d1538852f1280e66

a309f7db1961b003df166686e4ca6ba5ebec0e12

18011577bcc15211f11a298c6b95633c345390bd

430465ec1f6933d517c3a21c054d0ddf9b6281ac

a03b48365640d7e3f65ea6f2455f14b4aecb888d

0a00b8396b250f8cc796e79044045c1035a2f3a0

bfd6d596a9965df78d81a1f2b3b5bb9f110b703f

d508565f0ece6aed3388f9d103d4e58e7f3c6b52

fe9eff89f95df6e734920836d505f531e4fed869

f8106f0a57f4786e851345a0f0864757a1eeca9d

d2c90c29a447bfbef17d17ecd1de968c724a8943

79b182a161eb26b54b46ae387ad4c7a5096668d1

3d5f4fee06879e5b56be73f2f58852fe5a31b0ce

1738ba0c4cb12a760c107eb826c4582185304861

fae1c75418c658c4b18ef3580ecbeb3981678bbc

ce8ec487ff61b7b70ed51e2d0f838cb4e2905194

e6fee87f5f6730843bb8f1506f84d75b45b0d7fd

b8882c27327ed6642768f55a80c579a799b99664

a2c719be7e7c16866ff262034af50eafdcb80b02

文章标签：
大数据
分布式计算
Spark
机器学习/深度学习
关键词：
机器学习平台 PAI标签
apache spark机器学习
机器学习平台 PAIspark
apache spark summit
apache spark维度
小猫吃鱼569
目录
相关文章
极客李华
|
3月前
|
机器学习/深度学习 分布式计算 算法
Spark中的机器学习库MLlib是什么？请解释其作用和常用算法。
Spark中的机器学习库MLlib是什么？请解释其作用和常用算法。
极客李华
37 0
赵广陆
|
7月前
|
机器学习/深度学习 分布式计算 算法
大数据Spark机器学习
大数据Spark机器学习
赵广陆
45 1
大数据Spark机器学习
晓之以理的喵~~
|
3月前
|
机器学习/深度学习 分布式计算 算法
Spark MLlib简介与机器学习流程
Spark MLlib简介与机器学习流程
晓之以理的喵~~
40 0
Maynor
|
4月前
|
机器学习/深度学习 人工智能 分布式计算
机器学习(一)Spark机器学习基础
机器学习(一)Spark机器学习基础
Maynor
36 0
热烈的马
|
4月前
|
机器学习/深度学习 分布式计算 搜索推荐
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
热烈的马
79 0
热烈的马
|
4月前
|
机器学习/深度学习 分布式计算 前端开发
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
热烈的马
35 0
热烈的马
|
4月前
|
机器学习/深度学习 分布式计算 大数据
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
热烈的马
27 0
热烈的马
|
4月前
|
机器学习/深度学习 分布式计算 算法
【大数据技术】Spark MLlib机器学习库、数据类型详解（图文解释）
【大数据技术】Spark MLlib机器学习库、数据类型详解（图文解释）
热烈的马
47 0
不懂开发的程序猿
|
11月前
|
机器学习/深度学习 分布式计算 自然语言处理
Spark机器学习管道 - Estimator
Spark机器学习管道 - Estimator
不懂开发的程序猿
112 0
赵广陆
|
7月前
|
机器学习/深度学习 存储 分布式计算
大数据Spark MLlib机器学习
大数据Spark MLlib机器学习
赵广陆
57 1

热门文章

最新文章

  • 1
    机器学习PAI常见问题之配了exporter_type: "final"，训练完却没有如何解决
  • 2
    【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系（机器学习知识导论）（一）
  • 3
    【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系（机器学习知识导论）（二）
  • 4
    Machine Learning机器学习之贝叶斯网络(BayesianNetwork)
  • 5
    Machine Learning机器学习之决策树算法 Decision Tree（附Python代码）
  • 6
    机器学习之线性回归与逻辑回归【完整房价预测和鸢尾花分类代码解释】
  • 7
    基于机器学习的用户行为分析与个性化推荐系统
  • 8
    【python】Python大豆特征数据分析 [机器学习版一]（代码+论文）【独一无二】
  • 9
    机器学习库：numpy
  • 10
    机器学习PAI常见问题之安装pyalink卡在qtconsole 4.0如何解决
  • 1
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    98
  • 2
    安装Spark
    35
  • 3
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    40
  • 4
    Spark读取变更Hudi数据集Schema实现分析
    37
  • 5
    实战|使用Spark Streaming写入Hudi
    40
  • 6
    adb spark的lakehouse api访问内表数据，还支持算子下推吗
    107
  • 7
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    41
  • 8
    Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
    66
  • 9
    Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
    31
  • 10
    Spark【基础知识 03】【RDD常用算子详解】（图片来源于网络）
    57

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）