AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】迈向实时：为个性化创建不断更新频率的数据集

2017-02-18 1710
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Shriya Arora在Spark Summit East 2017上的演讲，主要介绍了NETFLIX使用Spark处理个性化数据集空间的经验，并分享了使用流处理大规模的个性化数据集的案例，对于从批处理到流计算的转型意识以及这一过程中必须要面对的技术挑战。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Shriya Arora在Spark Summit East 2017上的演讲，主要介绍了NETFLIX使用Spark处理个性化数据集空间的经验，并分享了使用流处理大规模的个性化数据集的案例，对于从批处理到流计算的转型意识以及这一过程中必须要面对的技术挑战。


ef5aa6b24e7d89f946cba4ea1ec2be3beba97954

0450b512d9e07066a01f98781ef9afa1f25867fe

693d186e287f070efa3641bb4b0bfb6f5a458436

111ba2d55f77fc08251ae63c87540cf9a163f044

dd6a55294799e8079188d10d4623551f3f930916

fa8e5461fc7f4c92c2062a456ac91d1468c05f81

fb5b54216f46c010225e2f4377bb430be6844719

18c63745ae30171a9b9f667489a7087854bcbec5

daef65c4686de2e47476850cbe4457179a75da20

dfa2593110ff2aa04fab05a781e4d420870abdb6

1d14eb2710c7a99cb603d5d0c4681dec7a875b82

9b397018eba53be2de059cfb13ac50956a3c6770

6ec8e7670dd7a11fdd79650c24e8eb0a5776f279

a5731ff37733f4aac1165119975cdd2012f684a1

2db1dc72db084aa114d99fb3093c0c06bb55c0d8

ebe943a5dfda0c0a88eb3ef61be923699e556986

文章标签：
大数据
分布式计算
搜索推荐
Spark
关键词：
apache spark数据集
apache spark创建
apache spark east
apache spark summit
apache spark summit east
小猫吃鱼569
目录
相关文章
yuanzhengme
|
7月前
|
存储 缓存 分布式计算
Spark【基础知识 02】【弹性式数据集RDDs】（部分图片来源于网络）
【2月更文挑战第13天】Spark【基础知识 02】【弹性式数据集RDDs】（部分图片来源于网络）
yuanzhengme
76 1
晓之以理的喵~~
|
7月前
|
分布式计算 大数据 数据处理
Spark RDD（弹性分布式数据集）
Spark RDD（弹性分布式数据集）
晓之以理的喵~~
114 0
热烈的马
|
7月前
|
机器学习/深度学习 分布式计算 搜索推荐
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
热烈的马
231 0
热烈的马
|
7月前
|
机器学习/深度学习 分布式计算 前端开发
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
热烈的马
81 0
热烈的马
|
7月前
|
机器学习/深度学习 分布式计算 大数据
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
热烈的马
77 0
热烈的马
|
7月前
|
存储 分布式计算 搜索推荐
【大数据技术Hadoop+Spark】MapReduce之单词计数和倒排索引实战（附源码和数据集 超详细）
【大数据技术Hadoop+Spark】MapReduce之单词计数和倒排索引实战（附源码和数据集 超详细）
热烈的马
210 0
热烈的马
|
7月前
|
机器学习/深度学习 分布式计算 大数据
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
热烈的马
107 0
萌狼蓝天
|
分布式计算 Spark
【Spark】【RDD】从本地文件系统创建RDD
【Spark】【RDD】从本地文件系统创建RDD
萌狼蓝天
138 0
【Spark】【RDD】从本地文件系统创建RDD
萌狼蓝天
|
分布式计算 Spark
【Spark】【RDD】从HDFS创建RDD
【Spark】【RDD】从HDFS创建RDD
萌狼蓝天
114 0
【Spark】【RDD】从HDFS创建RDD
红目香薰
|
存储 分布式计算 Java
一天学完spark的Scala基础语法教程一、基础语法与变量(idea版本)-2创建测试类： 【day1/demo1.scala】 这里是有包名(后面有讲述)的
一天学完spark的Scala基础语法教程一、基础语法与变量(idea版本)
红目香薰
166 0
一天学完spark的Scala基础语法教程一、基础语法与变量(idea版本)-2创建测试类： 【day1/demo1.scala】 这里是有包名(后面有讲述)的

热门文章

最新文章

  • 1
    十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
  • 2
    [Spark][Python]Spark Python 索引页
  • 3
    Spark-构建基于Spark的推荐引擎
  • 4
    Spark-spark streaming
  • 5
    Spark Master启动源码分析
  • 6
    Spark PruneDependency 依赖关系 RangePartitioner
  • 7
    如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
  • 8
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 9
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 10
    Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
  • 1
    spark用于分析数据并将数据保存到数据库中是
    72
  • 2
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    93
  • 3
    如何解决Spark在深度学习中的资源消耗问题？
    90
  • 4
    Spark在深度学习中的优缺点是什么？
    244
  • 5
    使用Spark进行机器学习
    74
  • 6
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    137
  • 7
    【Spark】Spark基础教程知识点
    83
  • 8
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    170
  • 9
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    146
  • 10
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    78

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
  • 函数计算部署PuLID for FLUX人像写真实现换脸效果
  • 使用容器计算服务 ACS 算力快速搭建生成式 AI 会话应用
  • SAE 极速部署专属 AI 证件照神器
  • 流水线运行出错排查难？AI帮你智能排查
  • 以电商场景为例搭建AI语义搜索应用
    • 下一篇
    使用阿里云接口（API）进行身份证实名认证