AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】实时业务数据分析

2017-02-19 1745
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Manish Gupta在Spark Summit East 2017上的演讲，当Redis作为分布式共享内存数据存储来进行类似时间序列数据范围查询分析的时候可以帮助Spark加速45倍。使用Redis的机器学习模型redis-ml将可以允许多应用程序同时使用相同的模型，并对于这些模型的分类和执行进行加速。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Manish Gupta在Spark Summit East 2017上的演讲，当Redis作为分布式共享内存数据存储来进行类似时间序列数据范围查询分析的时候可以帮助Spark加速45倍。使用Redis的机器学习模型redis-ml将可以允许多应用程序同时使用相同的模型，并对于这些模型的分类和执行进行加速。


17c45e5fa8549fd33d01ff5a0bf9319da72b4896

651002c86563528c5e45a83018ef1276832944b0

5a9fcd69eb4939d5f6984e3e891eca291bd574a4

882a1abb112541284efb690c247cf718daa55928

9e61f46651b9304e887ac02075b6c6ee1c02a7a1

7ebb3e034561f481c5502264244e9299615e121d

3dcab1e99a2d13fed99ee00bb6042ccc9b284a45

f81b17f75c6ea1fb1a7f5c499e5bd9b6dca2771b

df95f58fcfa9682b6348858fe7d2b0d23ef5d57e

a16fcc7c3905c498215d4c7cdc181afba017ab06

b5a106e1db081f4492bcfb8020925360d8fd6386

3b9a694da1350544f7ce21b0f9bda8fa37ddf7c0

9945e6d4e635959c0a91672cd71f4cd218719fc8

3c98b95871db2aeeb63ce673f78ddefbb5e9d617

c891b8e23763d8a6a96cd45a2e8c083b0e54db0e

db1a0b6b6a6dc5608f4541ce7b699aeaea81f85f

be8dc05f306c37354e980b201916d90fe34c2078

b390ace38135c9d298c1bc34ae764583d35301fb

ebeea8326b90e0a01ebcff51dfb548f02b44b568

e86bf1eba9e07ad956a361f629933f8b25660b36





文章标签：
大数据
分布式计算
Spark
数据挖掘
机器学习/深度学习
NoSQL
Redis
存储
MaxCompute
关键词：
apache spark数据分析
spark数据分析
数据分析spark
apache spark summit数据分析
数据分析业务
小猫吃鱼569
目录
相关文章
武子康
|
1月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
武子康
50 3
wljslmz
|
3月前
|
存储 分布式计算 Java
解释 Spark 与数据序列化格式的互操作性
【8月更文挑战第13天】
wljslmz
63 4
wljslmz
|
3月前
|
分布式计算 监控 大数据
如何处理 Spark 中的倾斜数据？
【8月更文挑战第13天】
wljslmz
250 4
wljslmz
|
3月前
|
存储 缓存 分布式计算
如何在 Spark 中持久保存数据，有哪些不同的存储级别可用？
【8月更文挑战第13天】
wljslmz
167 4
wljslmz
|
3月前
|
SQL 存储 分布式计算
如何使用 Spark SQL 从 DataFrame 查询数据？
【8月更文挑战第13天】
wljslmz
96 4
呆呆宝
|
3月前
|
分布式计算 Apache 数据安全/隐私保护
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
呆呆宝
51 1
三分钟热度的鱼
|
4月前
|
分布式计算 数据处理 流计算
实时计算 Flink版产品使用问题之使用Spark ThriftServer查询同步到Hudi的数据时，如何实时查看数据变化
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
50 1
冲冲冲c
|
5月前
|
弹性计算 分布式计算 DataWorks
DataWorks产品使用合集之spark任务如何跨空间取表数据
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
冲冲冲c
42 1
三分钟热度的鱼
|
5月前
|
SQL 分布式计算 HIVE
实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
273 3
vohelon
|
5月前
|
分布式计算 数据挖掘 数据处理
Spark如何支持实时数据分析？
【6月更文挑战第16天】Spark如何支持实时数据分析？
vohelon
68 3

热门文章

最新文章

  • 1
    Spark Job的提交与task本地化分析（源码阅读八）
  • 2
    [Spark][Python]Spark Python 索引页
  • 3
    十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
  • 4
    Spark-spark streaming
  • 5
    Spark-构建基于Spark的推荐引擎
  • 6
    Spark PruneDependency 依赖关系 RangePartitioner
  • 7
    Spark Master启动源码分析
  • 8
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 9
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 10
    如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
  • 1
    Python数据分析加速器：深度挖掘Pandas与NumPy的高级功能
    48
  • 2
    空间单细胞｜10x Visium数据分析、可视化与整合(2)
    30
  • 3
    解锁 Python 数据分析新境界：Pandas 与 NumPy 高级技巧深度剖析
    63
  • 4
    Python 数据分析工具箱：深挖 Pandas 与 NumPy 高级功能，驱动智能决策
    60
  • 5
    这份Excel+Python飞速搞定数据分析手册，简直可以让Excel飞起来
    78
  • 6
    MATLAB数据分析、从算法到实现
    51
  • 7
    探索Linux中的snice命令：一个虚构但启发性的数据分析工具
    157
  • 8
    Linux命令shuf详解：随机排序与数据分析的得力助手
    231
  • 9
    Python数据分析与机器学习在金融风控中的应用
    117
  • 10
    阿里云 EMR Serverless StarRocks OLAP 数据分析场景解析
    19206

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于DTS构建一站式实时数据服务
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
  • 倚天大数据电商数据分析快速实践
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 基于Flink+Tair搭建实时监控大屏
    • 下一篇
    无影云桌面