AI 助理
备案控制台
开发者社区 数据库 文章 正文

【Spark Summit EU 2016】使用Redis模型为Spark-ML加速

2017-02-13 3048
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生内存数据库 Tair，内存型 2GB
推荐场景：
通过缓存加速数据库访问
云数据库 Redis 版，标准版 2GB
推荐场景：
搭建游戏排行榜
简介： 本讲义出自Shay Nativ与Dvir Volk在Spark Summit EU上的演讲，主要介绍了支持网络、可基于内存也可持久化的日志型、开源的Key-Value数据库Redis，并介绍了Spark与Redis的集成方式，还介绍了为了使Redis能够实现更多的功能对其模型进行进一步研发并将其用于Spark-ML的相关内容。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Shay Nativ与Dvir Volk在Spark Summit EU上的演讲，主要介绍了支持网络、可基于内存也可持久化的日志型、开源的Key-Value数据库Redis，并介绍了Spark与Redis的集成方式，还介绍了为了使Redis能够实现更多的功能对其模型进行进一步研发并将其用于Spark-ML的相关内容。


9784e4cd578ee4b1428563bfb85ca4e9d24000b0

f5a1e97246024b2ff4dbfc9a2e694f21e4961fd3

7d7a7a24b98c903e15a1acc006fa49490889bb1d

8e86d01a0e56a155ab141111408f20dc2646611c

8e86d01a0e56a155ab141111408f20dc2646611c

03a1dcc114b3339397e0fa7045ca588b9e1edae3

5e24eea502230e0d3f6b59c901d0652e9a59201d

710e1cf3cc29446f07d13a3e2745e596d70e59fc

80e137315486e5aea4928109c7e71d1df15ff6d9

f75c790a0cd6091216907167a844e05ceef6f5fc

ff7dfedf974fc70c68a23cbbc1ccaae250b62f59

fa00a4f2def72713a9f8167089755fe953670e04

0d42a719433d00854637f4b7812e9f249a144c4f

600ff1e8a58bf8afb1f8a5b8032f130a2d142393

46dce0f0e16a2ceda02c3945af8c8ee502c599da

d011d62df00a5b939270f2e7287b90f7ee5d76e6

de04c56de09f6cb288ca4d926d0346b19d07ecf6

40bc48f77e03d2d2ea1f49c111d5b7b7ed167d84

36b3a449e12a8400664f4ddc3e5a88b98b58a01e

70646be1d4029ffbe3f2ceed9615900d7d8a4b28

d494ffc4df0adfedf4b6d93a1b1a9a9cf983cdde

6962a6726805144277494abe3d665b7ddbfea89e

f6c733ee0c08c703ba28c55839a9db48fbb6aba2

b298c79af4d13a2079fdebe843296e2d154d5ce1

dfb871169cc3be81ea84300b061aac312786369e

972b3166054d930b6bf68e1b900061a390222eb0

f11b6ed4d283b57c5d5e3b80262d87eee6c079d0

8fb7a5d42850d81f2f2584b54ee7f4277fbdcb1f

d3d6f5655dbb76e1ffe246fb3aec47fb66bcc6e9

c24ac00fd44bf46dd6c15133fe0ec4ad73b8a91f

d62ea7bf6c87c0d82afac30619fded606d7251bd

233b608f514f71206da289e7b1dc3def3b937c4f

058c7b40d5e792dac3ce5d5828d20dd1d20468b8

16e56f63951f3dcb92c14e28aec9e26210b48ed8

af451345cfcfda487f85be550ef952325227b1ba

c0cc459918e5f433ddbc4081d35c14c3ba8e6290

90ebb892df46f7a6e315bff590a10952b0354619

文章标签：
云数据库 Redis 版
监控
数据库
分布式计算
NoSQL
Redis
关键词：
云数据库 Redis 版模型
云数据库 Redis 版spark
apache spark模型
apache spark redis
spark云数据库 Redis 版
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务，基于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 产品详情：https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
小猫吃鱼569
目录
相关文章
洛神灬殇
|
4月前
|
存储 缓存 NoSQL
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现（字典）（一）
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现（字典）
洛神灬殇
81 0
qhhf_地道酬勤
|
2月前
|
存储 缓存 NoSQL
Redis常见面试题（二）:redis分布式锁、redisson、主从一致性、Redlock红锁；Redis集群、主从复制，哨兵模式，分片集群；Redis为什么这么快，I/O多路复用模型
redis分布式锁、redisson、可重入、主从一致性、WatchDog、Redlock红锁、zookeeper；Redis集群、主从复制，全量同步、增量同步；哨兵，分片集群，Redis为什么这么快，I/O多路复用模型——用户空间和内核空间、阻塞IO、非阻塞IO、IO多路复用，Redis网络模型
qhhf_地道酬勤
230 3
Redis常见面试题（二）:redis分布式锁、redisson、主从一致性、Redlock红锁；Redis集群、主从复制，哨兵模式，分片集群；Redis为什么这么快，I/O多路复用模型
码农阿豪
|
3月前
|
NoSQL Java Redis
Redis系列学习文章分享---第十八篇（Redis原理篇--网络模型，通讯协议，内存回收）
Redis系列学习文章分享---第十八篇（Redis原理篇--网络模型，通讯协议，内存回收）
码农阿豪
58 0
码农阿豪
|
3月前
|
存储 消息中间件 缓存
Redis系列学习文章分享---第十七篇（Redis原理篇--数据结构，网络模型）
Redis系列学习文章分享---第十七篇（Redis原理篇--数据结构，网络模型）
码农阿豪
65 0
小狮子安度因1
|
12天前
|
存储 NoSQL Redis
Redis存储原理与数据模型
Redis存储原理与数据模型
小狮子安度因1
22 2
william.zhang(张)
|
15天前
|
存储 缓存 NoSQL
Redis深度解析：部署模式、数据类型、存储模型与实战问题解决
Redis深度解析：部署模式、数据类型、存储模型与实战问题解决
william.zhang(张)
24 0
洛神灬殇
|
4月前
|
存储 NoSQL 算法
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现（字典）（二）
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现（字典）
洛神灬殇
98 0
warmhearted
|
2月前
|
存储 消息中间件 NoSQL
中间件键值存储模型Redis
【7月更文挑战第11天】
warmhearted
36 3
孜倦与shine
|
3月前
|
SQL 分布式计算 NoSQL
使用Spark高效将数据从Hive写入Redis (功能最全)
使用Spark高效将数据从Hive写入Redis (功能最全)
孜倦与shine
191 1
孜倦与shine
|
3月前
|
机器学习/深度学习 分布式计算 算法
基于Spark中随机森林模型的天气预测系统
基于Spark中随机森林模型的天气预测系统
孜倦与shine
57 1

热门文章

最新文章

  • 1
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 2
    8月28日社区直播【Spark Streaming SQL流式处理简介】
  • 3
    9.24直播预告｜DLA Serverless Spark技术解析-让您的Spark弹起来
  • 4
    spark SQL配置连接Hive Metastore 3.1.2
  • 5
    Spark Core概念学习系列之Spark Core（十四）
  • 6
    Spark-理解RDD
  • 7
    附录A Spark2.1核心工具类Utils
  • 8
    Spark-ML-01-小试spark分析离线商品信息
  • 9
    Spark-神奇的共享变量
  • 10
    Mac安装Spark+Spark基本功能
  • 1
    探秘Redis分布式锁：实战与注意事项
    341
  • 2
    优化Redis缓存：解决性能瓶颈和容量限制
    193
  • 3
    【Redis系列笔记】Redis总结
    149
  • 4
    【Redis系列笔记】Redis入门
    159
  • 5
    使用docker安装redis
    198
  • 6
    redis数据结构与应用场景
    33
  • 7
    springboot业务开发--springboot集成redis解决缓存雪崩穿透问题
    127
  • 8
    介绍redis分布式锁
    39
  • 9
    Redis缓存雪崩穿透等解决方案
    46
  • 10
    在go中简单使用go-redis库
    45

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • Redis入门实战演练
  • 云数据库 Redis 版使用教程
  • Redis数据库入门

    • 相关电子书

    更多
  • Redis集群演化的心路历程——从2.x到3.0时代
  • 微博的Redis定制之路
  • 云数据库Redis版的开源之路

    • 相关实验场景

    更多
  • 如何通过数据库Redis内网访问
  • Tair for Redis数据闪回：任意时间点数据恢复
  • 如何开通Redis的专属集群
  • 基于Redis实现在线游戏积分排行榜
    • 下一篇
    云函数