【Spark Summit East 2017】使用Spark和Riak构建物联网应用——模式和反模式

简介: 本讲义出自Pavel Hardak在Spark Summit East 2017上的演讲,讨论了存储物联网数据的关系型数据库、NoSQL以及对象存储产品的优点和缺点,并将分享使用Spark结合Riak NoSQL数据库的最佳实践,并解释了为何使用Riak获取可伸缩的持久性后的Spark模型能够解决物联网应用的共性问题,最后还结识了为何Structured Spark Streaming给了对于时间序列分析良机。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Pavel Hardak在Spark Summit East 2017上的演讲,讨论了存储物联网数据的关系型数据库、NoSQL以及对象存储产品的优点和缺点,并将分享使用Spark结合Riak NoSQL数据库的最佳实践,并解释了为何使用Riak获取可伸缩的持久性后的Spark模型能够解决物联网应用的共性问题,最后还结识了为何Structured Spark Streaming给了对于时间序列分析良机。


030049386d6ae48c5e8da3cbcc647f6bed00d7f8

ea169a96c464ce5ecc55121b1940a69fda0adccc

73b7d1839c95423c11a1611a7f14631df5ffbf5e

5ef3d501b8ed6156dd465173d656fa6ee926cb21

74c907221a61f92e2547f632352fcbf04afe5b69

b9711f3f65fe07a023d1827d783c5e2a6987d4f7

8d372949765b2090cbb4bdb9ca33efe58338598a

b545daf7b9a7ae6df09aac3576a7d5ab9548d6b7

c7db30c37d3010d9ac78ea7c828abb0d56adaf68

98fa9b30c539ee495ac3ab6028cafa215df33514

9def55abda825719c48bbace9c96d194ef8a7f26

ce1251b9f5c014a66091e7f191e06ee74ffc036f

0e1b511dc105c82cf930fc2bce69a1fbdd803aec

e43b84710a79247047050321493d2b774f614d60

7e6baf144648988b4a1b6ba917247648f4530d57

90bd1f63c9a52faf04df88c377e1018b635acfc1


0bd2934eb2c1a10cbff8a061789c9b7baa2477b0

8549063913a6eedffaa8b6ce6a0b99ab1dce18d2

06be479a721648bd32d5ef1ef6ac56dbff45f807

31e58a07e61ae8683e33c7ed8522f8d3f0293427

392879d148dc6642c8d8a02a74e81eef24f8b728

33b12bfeab6eba12699bb07490116a6e4b3c638a

01650b933ed3fe22ff8ef1847e39d9ef70a3006d

336a96c85d75acd879e96ba39e307c7383d2973e

8d7d168a7c0501b7c817d06e2c27f572dd0c622e

a9c7c32a7bbeef706e471b8ece4e16c7a89aeef5

e5b76b57f721eb79ea47711890f4b37b30273f35

a7201bdd972b205ecf39da4cededa981f5866bc9

7205b1bdadb6c90af204740cd3285d9253adda26

fa63b235377d7997340617ff80110302c5d01d3d


aa3e6f02b1c37c482cf13bc9f4347b3072102c3c

1c414bee8743ad19583b3355fef9630bc5b46808

4fbdde6838c856e3b8c2f8cf6df5d3c8710576ca

34aa8e8cb6b5d3577ca7e09ea6dfe68b2511bc7f

e7886cde670c9bd2326d9230cd5047bc4bd52ac8

973c682a44f0243f2c4a7971a903bf639d641b57

53cce03bb2e52c5fc5cd55afea970223bae757fc

23b2c4e5582386cbac8e487e902c694ea0bf5136

f600cca2d5c80ee3d1ac88c8247d4100063fca1b

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
5月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
283 6
|
5月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
127 2
|
23天前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
|
7月前
|
分布式计算 资源调度 大数据
【决战大数据之巅】:Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决!
【8月更文挑战第7天】随着大数据需求的增长,Apache Spark 成为关键框架。本文对比了常见的 Spark Standalone 与 YARN 部署模式。Standalone 作为自带的轻量级集群管理服务,易于设置,适用于小规模或独立部署;而 YARN 作为 Hadoop 的资源管理系统,支持资源的统一管理和调度,更适合大规模生产环境及多框架集成。我们将通过示例代码展示如何在这两种模式下运行 Spark 应用程序。
376 3
|
4月前
|
人工智能 监控 物联网
深度探索人工智能与物联网的融合:构建未来智能生态系统###
在当今这个数据驱动的时代,人工智能(AI)与物联网(IoT)的深度融合正引领着一场前所未有的技术革命。本文旨在深入剖析这一融合背后的技术原理、探讨其在不同领域的应用实例及面临的挑战与机遇,为读者描绘一幅关于未来智能生态系统的宏伟蓝图。通过技术创新的视角,我们不仅揭示了AI与IoT结合的强大潜力,也展望了它们如何共同塑造一个更加高效、可持续且互联的世界。 ###
|
4月前
|
传感器 监控 安全
创新无限:物联网技术在智慧城市构建中的前沿探索
【10月更文挑战第29天】在这个信息爆炸的时代,物联网(IoT)技术正重塑我们对城市的认知。智慧城市已从科幻走向现实,物联网通过连接各种设备和传感器,收集、分析数据,提升城市运行效率和居民生活质量。从智慧城管、智能交通、智慧水务到智能电网,物联网的应用正逐步实现城市的智能化、互联化和可持续发展。
151 1
|
5月前
|
存储 安全 物联网
|
6月前
|
传感器 搜索推荐 物联网
5G与物联网:构建万物互联的未来世界
【9月更文挑战第11天】5G与物联网的融合正引领我们进入一个万物互联的未来世界。在这个世界中,各种设备将通过网络紧密相连,实现数据的实时传输和处理。这不仅将极大地方便人们的生活和工作,还将推动社会向智能化、数字化迈进。我们有理由相信,在不久的将来,一个更加智能、便捷、高效的世界将呈现在我们面前。
|
6月前
|
传感器 自动驾驶 物联网
5G+物联网:构建智慧城市的新基石
【9月更文挑战第4天】5G+物联网作为构建智慧城市的新基石,正引领着城市管理的智能化变革。随着技术的不断成熟和应用场景的不断拓展,智慧城市将变得更加智能、高效和可持续。然而,我们也应看到,智慧城市的建设还面临着数据安全、隐私保护等挑战。未来,我们需要加强技术创新和法规建设,确保智慧城市在快速发展的同时,也能够保障人民的安全和权益。
|
8月前
|
SQL 弹性计算 资源调度
云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。

相关产品

  • 物联网平台