AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】迈向实时：为个性化创建不断更新频率的数据集

2017-02-18 1709
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Shriya Arora在Spark Summit East 2017上的演讲，主要介绍了NETFLIX使用Spark处理个性化数据集空间的经验，并分享了使用流处理大规模的个性化数据集的案例，对于从批处理到流计算的转型意识以及这一过程中必须要面对的技术挑战。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Shriya Arora在Spark Summit East 2017上的演讲，主要介绍了NETFLIX使用Spark处理个性化数据集空间的经验，并分享了使用流处理大规模的个性化数据集的案例，对于从批处理到流计算的转型意识以及这一过程中必须要面对的技术挑战。


ef5aa6b24e7d89f946cba4ea1ec2be3beba97954

0450b512d9e07066a01f98781ef9afa1f25867fe

693d186e287f070efa3641bb4b0bfb6f5a458436

111ba2d55f77fc08251ae63c87540cf9a163f044

dd6a55294799e8079188d10d4623551f3f930916

fa8e5461fc7f4c92c2062a456ac91d1468c05f81

fb5b54216f46c010225e2f4377bb430be6844719

18c63745ae30171a9b9f667489a7087854bcbec5

daef65c4686de2e47476850cbe4457179a75da20

dfa2593110ff2aa04fab05a781e4d420870abdb6

1d14eb2710c7a99cb603d5d0c4681dec7a875b82

9b397018eba53be2de059cfb13ac50956a3c6770

6ec8e7670dd7a11fdd79650c24e8eb0a5776f279

a5731ff37733f4aac1165119975cdd2012f684a1

2db1dc72db084aa114d99fb3093c0c06bb55c0d8

ebe943a5dfda0c0a88eb3ef61be923699e556986

文章标签：
大数据
分布式计算
搜索推荐
Spark
关键词：
apache spark数据集
apache spark创建
apache spark east
apache spark summit
apache spark summit east
小猫吃鱼569
目录
相关文章
yuanzhengme
|
6月前
|
存储 缓存 分布式计算
Spark【基础知识 02】【弹性式数据集RDDs】（部分图片来源于网络）
【2月更文挑战第13天】Spark【基础知识 02】【弹性式数据集RDDs】（部分图片来源于网络）
yuanzhengme
73 1
晓之以理的喵~~
|
6月前
|
分布式计算 大数据 数据处理
Spark RDD（弹性分布式数据集）
Spark RDD（弹性分布式数据集）
晓之以理的喵~~
108 0
热烈的马
|
6月前
|
机器学习/深度学习 分布式计算 搜索推荐
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
热烈的马
208 0
热烈的马
|
6月前
|
机器学习/深度学习 分布式计算 前端开发
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
热烈的马
72 0
热烈的马
|
6月前
|
机器学习/深度学习 分布式计算 大数据
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
热烈的马
67 0
热烈的马
|
6月前
|
存储 分布式计算 搜索推荐
【大数据技术Hadoop+Spark】MapReduce之单词计数和倒排索引实战（附源码和数据集 超详细）
【大数据技术Hadoop+Spark】MapReduce之单词计数和倒排索引实战（附源码和数据集 超详细）
热烈的马
183 0
热烈的马
|
6月前
|
机器学习/深度学习 分布式计算 大数据
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
热烈的马
101 0
萌狼蓝天
|
分布式计算 Spark
【Spark】【RDD】从本地文件系统创建RDD
【Spark】【RDD】从本地文件系统创建RDD
萌狼蓝天
138 0
【Spark】【RDD】从本地文件系统创建RDD
萌狼蓝天
|
分布式计算 Spark
【Spark】【RDD】从HDFS创建RDD
【Spark】【RDD】从HDFS创建RDD
萌狼蓝天
111 0
【Spark】【RDD】从HDFS创建RDD
红目香薰
|
存储 分布式计算 Java
一天学完spark的Scala基础语法教程一、基础语法与变量(idea版本)-2创建测试类： 【day1/demo1.scala】 这里是有包名(后面有讲述)的
一天学完spark的Scala基础语法教程一、基础语法与变量(idea版本)
红目香薰
159 0
一天学完spark的Scala基础语法教程一、基础语法与变量(idea版本)-2创建测试类： 【day1/demo1.scala】 这里是有包名(后面有讲述)的

热门文章

最新文章

  • 1
    [Spark][Python]Mapping Single Rows to Multiple Pairs
  • 2
    [Spark][Python]Spark Python 索引页
  • 3
    Spark Job的提交与task本地化分析（源码阅读八）
  • 4
    spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
  • 5
    Spark-spark streaming
  • 6
    Spark-构建基于Spark的推荐引擎
  • 7
    Spark PruneDependency 依赖关系 RangePartitioner
  • 8
    Spark Master启动源码分析
  • 9
    十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
  • 10
    Spark编程语言选择：Scala、Java和Python
  • 1
    DAG（有向无环图）在Spark中的应用
    404
  • 2
    scala-spark中的groupby、like等的用法
    209
  • 3
    spark执行sql的原理是什么
    114
  • 4
    容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s
    84
  • 5
    spark用于分析数据并将数据保存到数据库中是
    65
  • 6
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    84
  • 7
    如何解决Spark在深度学习中的资源消耗问题？
    83
  • 8
    Spark在深度学习中的优缺点是什么？
    218
  • 9
    使用Spark进行机器学习
    63
  • 10
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    116

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 使用容器计算服务 ACS 算力快速搭建生成式 AI 会话应用
  • SAE 极速部署专属 AI 证件照神器
  • 流水线运行出错排查难？AI帮你智能排查
  • 以电商场景为例搭建AI语义搜索应用
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
  • 奥运时刻！零代码生成奥运风格AI写真。
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月