【Spark Summit East 2017】使用Spark和Riak构建物联网应用——模式和反模式

简介: 本讲义出自Pavel Hardak在Spark Summit East 2017上的演讲,讨论了存储物联网数据的关系型数据库、NoSQL以及对象存储产品的优点和缺点,并将分享使用Spark结合Riak NoSQL数据库的最佳实践,并解释了为何使用Riak获取可伸缩的持久性后的Spark模型能够解决物联网应用的共性问题,最后还结识了为何Structured Spark Streaming给了对于时间序列分析良机。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Pavel Hardak在Spark Summit East 2017上的演讲,讨论了存储物联网数据的关系型数据库、NoSQL以及对象存储产品的优点和缺点,并将分享使用Spark结合Riak NoSQL数据库的最佳实践,并解释了为何使用Riak获取可伸缩的持久性后的Spark模型能够解决物联网应用的共性问题,最后还结识了为何Structured Spark Streaming给了对于时间序列分析良机。


030049386d6ae48c5e8da3cbcc647f6bed00d7f8

ea169a96c464ce5ecc55121b1940a69fda0adccc

73b7d1839c95423c11a1611a7f14631df5ffbf5e

5ef3d501b8ed6156dd465173d656fa6ee926cb21

74c907221a61f92e2547f632352fcbf04afe5b69

b9711f3f65fe07a023d1827d783c5e2a6987d4f7

8d372949765b2090cbb4bdb9ca33efe58338598a

b545daf7b9a7ae6df09aac3576a7d5ab9548d6b7

c7db30c37d3010d9ac78ea7c828abb0d56adaf68

98fa9b30c539ee495ac3ab6028cafa215df33514

9def55abda825719c48bbace9c96d194ef8a7f26

ce1251b9f5c014a66091e7f191e06ee74ffc036f

0e1b511dc105c82cf930fc2bce69a1fbdd803aec

e43b84710a79247047050321493d2b774f614d60

7e6baf144648988b4a1b6ba917247648f4530d57

90bd1f63c9a52faf04df88c377e1018b635acfc1


0bd2934eb2c1a10cbff8a061789c9b7baa2477b0

8549063913a6eedffaa8b6ce6a0b99ab1dce18d2

06be479a721648bd32d5ef1ef6ac56dbff45f807

31e58a07e61ae8683e33c7ed8522f8d3f0293427

392879d148dc6642c8d8a02a74e81eef24f8b728

33b12bfeab6eba12699bb07490116a6e4b3c638a

01650b933ed3fe22ff8ef1847e39d9ef70a3006d

336a96c85d75acd879e96ba39e307c7383d2973e

8d7d168a7c0501b7c817d06e2c27f572dd0c622e

a9c7c32a7bbeef706e471b8ece4e16c7a89aeef5

e5b76b57f721eb79ea47711890f4b37b30273f35

a7201bdd972b205ecf39da4cededa981f5866bc9

7205b1bdadb6c90af204740cd3285d9253adda26

fa63b235377d7997340617ff80110302c5d01d3d


aa3e6f02b1c37c482cf13bc9f4347b3072102c3c

1c414bee8743ad19583b3355fef9630bc5b46808

4fbdde6838c856e3b8c2f8cf6df5d3c8710576ca

34aa8e8cb6b5d3577ca7e09ea6dfe68b2511bc7f

e7886cde670c9bd2326d9230cd5047bc4bd52ac8

973c682a44f0243f2c4a7971a903bf639d641b57

53cce03bb2e52c5fc5cd55afea970223bae757fc

23b2c4e5582386cbac8e487e902c694ea0bf5136

f600cca2d5c80ee3d1ac88c8247d4100063fca1b

相关实践学习
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
分布式计算 数据处理 Apache
Spark和Flink的区别是什么?如何选择?都应用在哪些行业?
【10月更文挑战第10天】Spark和Flink的区别是什么?如何选择?都应用在哪些行业?
1792 1
|
10月前
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
1133 56
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
|
10月前
|
分布式计算 运维 搜索推荐
立马耀:通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统,驱动个性化推荐业务
蝉妈妈旗下蝉选通过迁移到阿里云 Serverless Spark 及 Milvus,解决传统架构性能瓶颈与运维复杂性问题。新方案实现离线任务耗时减少40%、失败率降80%,Milvus 向量检索成本降低75%,支持更大规模数据处理,查询响应提速。
538 57
|
4月前
|
人工智能 Java 物联网
Java与边缘AI:构建离线智能的物联网与移动应用
随着边缘计算和终端设备算力的飞速发展,AI推理正从云端向边缘端迁移。本文深入探讨如何在资源受限的边缘设备上使用Java构建离线智能应用,涵盖从模型优化、推理加速到资源管理的全流程。我们将完整展示在Android设备、嵌入式系统和IoT网关中部署轻量级AI模型的技术方案,为构建真正实时、隐私安全的边缘智能应用提供完整实践指南。
439 3
|
12月前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
916 58
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
574 15
|
12月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
301 0
|
人工智能 监控 物联网
深度探索人工智能与物联网的融合:构建未来智能生态系统###
在当今这个数据驱动的时代,人工智能(AI)与物联网(IoT)的深度融合正引领着一场前所未有的技术革命。本文旨在深入剖析这一融合背后的技术原理、探讨其在不同领域的应用实例及面临的挑战与机遇,为读者描绘一幅关于未来智能生态系统的宏伟蓝图。通过技术创新的视角,我们不仅揭示了AI与IoT结合的强大潜力,也展望了它们如何共同塑造一个更加高效、可持续且互联的世界。 ###
|
传感器 监控 安全
创新无限:物联网技术在智慧城市构建中的前沿探索
【10月更文挑战第29天】在这个信息爆炸的时代,物联网(IoT)技术正重塑我们对城市的认知。智慧城市已从科幻走向现实,物联网通过连接各种设备和传感器,收集、分析数据,提升城市运行效率和居民生活质量。从智慧城管、智能交通、智慧水务到智能电网,物联网的应用正逐步实现城市的智能化、互联化和可持续发展。
409 1
|
传感器 搜索推荐 物联网
5G与物联网:构建万物互联的未来世界
【9月更文挑战第11天】5G与物联网的融合正引领我们进入一个万物互联的未来世界。在这个世界中,各种设备将通过网络紧密相连,实现数据的实时传输和处理。这不仅将极大地方便人们的生活和工作,还将推动社会向智能化、数字化迈进。我们有理由相信,在不久的将来,一个更加智能、便捷、高效的世界将呈现在我们面前。

相关产品

  • 物联网平台