AI 助理
备案控制台
开发者社区 数据库 文章 正文

【Spark Summit EU 2016】使用Redis模型为Spark-ML加速

2017-02-13 3058
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
Redis 开源版，标准版 2GB
推荐场景：
搭建游戏排行榜
云数据库 Tair（兼容Redis），内存型 2GB
推荐场景：
通过缓存加速数据库访问
简介： 本讲义出自Shay Nativ与Dvir Volk在Spark Summit EU上的演讲，主要介绍了支持网络、可基于内存也可持久化的日志型、开源的Key-Value数据库Redis，并介绍了Spark与Redis的集成方式，还介绍了为了使Redis能够实现更多的功能对其模型进行进一步研发并将其用于Spark-ML的相关内容。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Shay Nativ与Dvir Volk在Spark Summit EU上的演讲，主要介绍了支持网络、可基于内存也可持久化的日志型、开源的Key-Value数据库Redis，并介绍了Spark与Redis的集成方式，还介绍了为了使Redis能够实现更多的功能对其模型进行进一步研发并将其用于Spark-ML的相关内容。


9784e4cd578ee4b1428563bfb85ca4e9d24000b0

f5a1e97246024b2ff4dbfc9a2e694f21e4961fd3

7d7a7a24b98c903e15a1acc006fa49490889bb1d

8e86d01a0e56a155ab141111408f20dc2646611c

8e86d01a0e56a155ab141111408f20dc2646611c

03a1dcc114b3339397e0fa7045ca588b9e1edae3

5e24eea502230e0d3f6b59c901d0652e9a59201d

710e1cf3cc29446f07d13a3e2745e596d70e59fc

80e137315486e5aea4928109c7e71d1df15ff6d9

f75c790a0cd6091216907167a844e05ceef6f5fc

ff7dfedf974fc70c68a23cbbc1ccaae250b62f59

fa00a4f2def72713a9f8167089755fe953670e04

0d42a719433d00854637f4b7812e9f249a144c4f

600ff1e8a58bf8afb1f8a5b8032f130a2d142393

46dce0f0e16a2ceda02c3945af8c8ee502c599da

d011d62df00a5b939270f2e7287b90f7ee5d76e6

de04c56de09f6cb288ca4d926d0346b19d07ecf6

40bc48f77e03d2d2ea1f49c111d5b7b7ed167d84

36b3a449e12a8400664f4ddc3e5a88b98b58a01e

70646be1d4029ffbe3f2ceed9615900d7d8a4b28

d494ffc4df0adfedf4b6d93a1b1a9a9cf983cdde

6962a6726805144277494abe3d665b7ddbfea89e

f6c733ee0c08c703ba28c55839a9db48fbb6aba2

b298c79af4d13a2079fdebe843296e2d154d5ce1

dfb871169cc3be81ea84300b061aac312786369e

972b3166054d930b6bf68e1b900061a390222eb0

f11b6ed4d283b57c5d5e3b80262d87eee6c079d0

8fb7a5d42850d81f2f2584b54ee7f4277fbdcb1f

d3d6f5655dbb76e1ffe246fb3aec47fb66bcc6e9

c24ac00fd44bf46dd6c15133fe0ec4ad73b8a91f

d62ea7bf6c87c0d82afac30619fded606d7251bd

233b608f514f71206da289e7b1dc3def3b937c4f

058c7b40d5e792dac3ce5d5828d20dd1d20468b8

16e56f63951f3dcb92c14e28aec9e26210b48ed8

af451345cfcfda487f85be550ef952325227b1ba

c0cc459918e5f433ddbc4081d35c14c3ba8e6290

90ebb892df46f7a6e315bff590a10952b0354619

文章标签：
云数据库 Tair（兼容 Redis）
监控
数据库
分布式计算
NoSQL
Redis
关键词：
apache spark模型
spark云数据库 Tair（兼容 Redis）
云数据库 Tair（兼容 Redis）模型
云数据库 Tair（兼容 Redis）spark
apache spark redis
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务，基于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 产品详情：https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
小猫吃鱼569
目录
相关文章
武子康
|
2月前
|
存储 缓存 分布式计算
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
武子康
38 4
武子康
|
2月前
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
武子康
42 0
qhhf_地道酬勤
|
5月前
|
存储 缓存 NoSQL
Redis常见面试题（二）:redis分布式锁、redisson、主从一致性、Redlock红锁；Redis集群、主从复制，哨兵模式，分片集群；Redis为什么这么快，I/O多路复用模型
redis分布式锁、redisson、可重入、主从一致性、WatchDog、Redlock红锁、zookeeper；Redis集群、主从复制，全量同步、增量同步；哨兵，分片集群，Redis为什么这么快，I/O多路复用模型——用户空间和内核空间、阻塞IO、非阻塞IO、IO多路复用，Redis网络模型
qhhf_地道酬勤
1487 4
Redis常见面试题（二）:redis分布式锁、redisson、主从一致性、Redlock红锁；Redis集群、主从复制，哨兵模式，分片集群；Redis为什么这么快，I/O多路复用模型
aliyun4381607004
|
29天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。
aliyun4381607004
60 1
勇哥Java实战
|
3月前
|
消息中间件 存储 NoSQL
剖析 Redis List 消息队列的三种消费线程模型
Redis 列表（List）是一种简单的字符串列表，它的底层实现是一个双向链表。 生产环境，很多公司都将 Redis 列表应用于轻量级消息队列 。这篇文章，我们聊聊如何使用 List 命令实现消息队列的功能以及剖析消费者线程模型 。
勇哥Java实战
99 20
剖析 Redis List 消息队列的三种消费线程模型
码农阿豪
|
6月前
|
NoSQL Java Redis
Redis系列学习文章分享---第十八篇（Redis原理篇--网络模型，通讯协议，内存回收）
Redis系列学习文章分享---第十八篇（Redis原理篇--网络模型，通讯协议，内存回收）
码农阿豪
86 0
码农阿豪
|
6月前
|
存储 消息中间件 缓存
Redis系列学习文章分享---第十七篇（Redis原理篇--数据结构，网络模型）
Redis系列学习文章分享---第十七篇（Redis原理篇--数据结构，网络模型）
码农阿豪
97 0
dream_ready
|
2月前
|
NoSQL Redis 数据库
Redis单线程模型 redis 为什么是单线程？为什么 redis 单线程效率还能那么高，速度还能特别快
本文解释了Redis为什么采用单线程模型，以及为什么Redis单线程模型的效率和速度依然可以非常高，主要原因包括Redis操作主要访问内存、核心操作简单、单线程避免了线程竞争开销，以及使用了IO多路复用机制epoll。
dream_ready
50 0
Redis单线程模型 redis 为什么是单线程？为什么 redis 单线程效率还能那么高，速度还能特别快
古明地盆
|
3月前
|
消息中间件 存储 NoSQL
18）Redis 的发布订阅模型
18）Redis 的发布订阅模型
古明地盆
33 0
小狮子安度因1
|
4月前
|
存储 NoSQL Redis
Redis存储原理与数据模型
Redis存储原理与数据模型
小狮子安度因1
51 2

热门文章

最新文章

  • 1
    十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
  • 2
    [Spark][Python]Spark Python 索引页
  • 3
    Spark-构建基于Spark的推荐引擎
  • 4
    如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
  • 5
    Spark-spark streaming
  • 6
    Spark Master启动源码分析
  • 7
    Spark PruneDependency 依赖关系 RangePartitioner
  • 8
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 9
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 10
    Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
  • 1
    Redis经典问题：数据不一致
    602
  • 2
    Redis经典问题：缓存击穿
    612
  • 3
    Redis数据结构精讲：选择与应用实战指南
    1327
  • 4
    Redis内存分析工具RDR
    1757
  • 5
    Redis基础命令集详解
    48
  • 6
    Mac上轻松几步搞定Docker与Redis安装：从下载安装到容器运行实测全程指南
    914
  • 7
    Redis哨兵&分片集群
    87
  • 8
    Redis多级缓存
    50
  • 9
    Redis持久化&Redis主从
    48
  • 10
    Redis 缓存 一致性
    58

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 如何通过数据库Redis内网访问
  • Tair for Redis数据闪回：任意时间点数据恢复
  • 如何开通Redis的专属集群
  • 基于Redis实现在线游戏积分排行榜
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月