【Spark Summit East 2017】使用Spark和Riak构建物联网应用——模式和反模式

简介: 本讲义出自Pavel Hardak在Spark Summit East 2017上的演讲,讨论了存储物联网数据的关系型数据库、NoSQL以及对象存储产品的优点和缺点,并将分享使用Spark结合Riak NoSQL数据库的最佳实践,并解释了为何使用Riak获取可伸缩的持久性后的Spark模型能够解决物联网应用的共性问题,最后还结识了为何Structured Spark Streaming给了对于时间序列分析良机。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Pavel Hardak在Spark Summit East 2017上的演讲,讨论了存储物联网数据的关系型数据库、NoSQL以及对象存储产品的优点和缺点,并将分享使用Spark结合Riak NoSQL数据库的最佳实践,并解释了为何使用Riak获取可伸缩的持久性后的Spark模型能够解决物联网应用的共性问题,最后还结识了为何Structured Spark Streaming给了对于时间序列分析良机。


030049386d6ae48c5e8da3cbcc647f6bed00d7f8

ea169a96c464ce5ecc55121b1940a69fda0adccc

73b7d1839c95423c11a1611a7f14631df5ffbf5e

5ef3d501b8ed6156dd465173d656fa6ee926cb21

74c907221a61f92e2547f632352fcbf04afe5b69

b9711f3f65fe07a023d1827d783c5e2a6987d4f7

8d372949765b2090cbb4bdb9ca33efe58338598a

b545daf7b9a7ae6df09aac3576a7d5ab9548d6b7

c7db30c37d3010d9ac78ea7c828abb0d56adaf68

98fa9b30c539ee495ac3ab6028cafa215df33514

9def55abda825719c48bbace9c96d194ef8a7f26

ce1251b9f5c014a66091e7f191e06ee74ffc036f

0e1b511dc105c82cf930fc2bce69a1fbdd803aec

e43b84710a79247047050321493d2b774f614d60

7e6baf144648988b4a1b6ba917247648f4530d57

90bd1f63c9a52faf04df88c377e1018b635acfc1


0bd2934eb2c1a10cbff8a061789c9b7baa2477b0

8549063913a6eedffaa8b6ce6a0b99ab1dce18d2

06be479a721648bd32d5ef1ef6ac56dbff45f807

31e58a07e61ae8683e33c7ed8522f8d3f0293427

392879d148dc6642c8d8a02a74e81eef24f8b728

33b12bfeab6eba12699bb07490116a6e4b3c638a

01650b933ed3fe22ff8ef1847e39d9ef70a3006d

336a96c85d75acd879e96ba39e307c7383d2973e

8d7d168a7c0501b7c817d06e2c27f572dd0c622e

a9c7c32a7bbeef706e471b8ece4e16c7a89aeef5

e5b76b57f721eb79ea47711890f4b37b30273f35

a7201bdd972b205ecf39da4cededa981f5866bc9

7205b1bdadb6c90af204740cd3285d9253adda26

fa63b235377d7997340617ff80110302c5d01d3d


aa3e6f02b1c37c482cf13bc9f4347b3072102c3c

1c414bee8743ad19583b3355fef9630bc5b46808

4fbdde6838c856e3b8c2f8cf6df5d3c8710576ca

34aa8e8cb6b5d3577ca7e09ea6dfe68b2511bc7f

e7886cde670c9bd2326d9230cd5047bc4bd52ac8

973c682a44f0243f2c4a7971a903bf639d641b57

53cce03bb2e52c5fc5cd55afea970223bae757fc

23b2c4e5582386cbac8e487e902c694ea0bf5136

f600cca2d5c80ee3d1ac88c8247d4100063fca1b

相关实践学习
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
分布式计算 数据处理 Apache
Spark和Flink的区别是什么?如何选择?都应用在哪些行业?
【10月更文挑战第10天】Spark和Flink的区别是什么?如何选择?都应用在哪些行业?
2118 1
|
机器学习/深度学习 SQL 分布式计算
Spark核心原理与应用场景解析:面试经验与必备知识点解析
本文深入探讨Spark核心原理(RDD、DAG、内存计算、容错机制)和生态系统(Spark SQL、MLlib、Streaming),并分析其在大规模数据处理、机器学习及实时流处理中的应用。通过代码示例展示DataFrame操作,帮助读者准备面试,同时强调结合个人经验、行业趋势和技术发展以展现全面的技术实力。
1616 0
|
机器学习/深度学习 SQL 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
介绍 Apache Spark 的基本概念和在大数据分析中的应用
420 0
|
机器学习/深度学习 SQL 分布式计算
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
1313 56
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
|
分布式计算 运维 搜索推荐
立马耀:通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统,驱动个性化推荐业务
蝉妈妈旗下蝉选通过迁移到阿里云 Serverless Spark 及 Milvus,解决传统架构性能瓶颈与运维复杂性问题。新方案实现离线任务耗时减少40%、失败率降80%,Milvus 向量检索成本降低75%,支持更大规模数据处理,查询响应提速。
647 57
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
1024 58
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
680 15
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
357 0
|
分布式计算 大数据 Spark
Spark大数据处理:技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理:技术、应用与性能优化》深入浅出介绍Spark核心,涵盖部署、实战与性能调优,适合初学者。作者基于微软和IBM经验,解析Spark工作机制,探讨BDAS生态,提供实践案例,助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。![Spark Web UI](https://img-blog.csdnimg.cn/direct/16aaadbb4e13410f8cb2727c3786cc9e.png#pic_center)
560 1
Spark大数据处理:技术、应用与性能优化(全)PDF书籍推荐分享

相关产品

  • 物联网平台