AI 助理
文档备案控制台
开发者社区 物联网 文章 正文

【Spark Summit East 2017】使用Spark和Riak构建物联网应用——模式和反模式

2017-02-19 2189
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Pavel Hardak在Spark Summit East 2017上的演讲，讨论了存储物联网数据的关系型数据库、NoSQL以及对象存储产品的优点和缺点，并将分享使用Spark结合Riak NoSQL数据库的最佳实践，并解释了为何使用Riak获取可伸缩的持久性后的Spark模型能够解决物联网应用的共性问题，最后还结识了为何Structured Spark Streaming给了对于时间序列分析良机。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Pavel Hardak在Spark Summit East 2017上的演讲，讨论了存储物联网数据的关系型数据库、NoSQL以及对象存储产品的优点和缺点，并将分享使用Spark结合Riak NoSQL数据库的最佳实践，并解释了为何使用Riak获取可伸缩的持久性后的Spark模型能够解决物联网应用的共性问题，最后还结识了为何Structured Spark Streaming给了对于时间序列分析良机。


030049386d6ae48c5e8da3cbcc647f6bed00d7f8

ea169a96c464ce5ecc55121b1940a69fda0adccc

73b7d1839c95423c11a1611a7f14631df5ffbf5e

5ef3d501b8ed6156dd465173d656fa6ee926cb21

74c907221a61f92e2547f632352fcbf04afe5b69

b9711f3f65fe07a023d1827d783c5e2a6987d4f7

8d372949765b2090cbb4bdb9ca33efe58338598a

b545daf7b9a7ae6df09aac3576a7d5ab9548d6b7

c7db30c37d3010d9ac78ea7c828abb0d56adaf68

98fa9b30c539ee495ac3ab6028cafa215df33514

9def55abda825719c48bbace9c96d194ef8a7f26

ce1251b9f5c014a66091e7f191e06ee74ffc036f

0e1b511dc105c82cf930fc2bce69a1fbdd803aec

e43b84710a79247047050321493d2b774f614d60

7e6baf144648988b4a1b6ba917247648f4530d57

90bd1f63c9a52faf04df88c377e1018b635acfc1


0bd2934eb2c1a10cbff8a061789c9b7baa2477b0

8549063913a6eedffaa8b6ce6a0b99ab1dce18d2

06be479a721648bd32d5ef1ef6ac56dbff45f807

31e58a07e61ae8683e33c7ed8522f8d3f0293427

392879d148dc6642c8d8a02a74e81eef24f8b728

33b12bfeab6eba12699bb07490116a6e4b3c638a

01650b933ed3fe22ff8ef1847e39d9ef70a3006d

336a96c85d75acd879e96ba39e307c7383d2973e

8d7d168a7c0501b7c817d06e2c27f572dd0c622e

a9c7c32a7bbeef706e471b8ece4e16c7a89aeef5

e5b76b57f721eb79ea47711890f4b37b30273f35

a7201bdd972b205ecf39da4cededa981f5866bc9

7205b1bdadb6c90af204740cd3285d9253adda26

fa63b235377d7997340617ff80110302c5d01d3d


aa3e6f02b1c37c482cf13bc9f4347b3072102c3c

1c414bee8743ad19583b3355fef9630bc5b46808

4fbdde6838c856e3b8c2f8cf6df5d3c8710576ca

34aa8e8cb6b5d3577ca7e09ea6dfe68b2511bc7f

e7886cde670c9bd2326d9230cd5047bc4bd52ac8

973c682a44f0243f2c4a7971a903bf639d641b57

53cce03bb2e52c5fc5cd55afea970223bae757fc

23b2c4e5582386cbac8e487e902c694ea0bf5136

f600cca2d5c80ee3d1ac88c8247d4100063fca1b

文章标签：
物联网平台
分布式计算
物联网
数据库
存储
大数据
相关实践学习
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品，7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前，请先开通下方两个云产品，让学习更流畅： IoT物联网平台：https://iot.console.aliyun.com/ LinkWAN物联网络管理平台：https://linkwan.console.aliyun.com/service-open
小猫吃鱼569
目录
相关文章
阿里云大数据
|
SQL 分布式计算 Serverless
鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求，采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升，支持业务快速发展、计算效率提升，增强SLA保障，稳定性提升，降低运维成本，并支撑全球化数据架构部署。
阿里云大数据
1618 56
鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
阿里云大数据
|
分布式计算 运维 搜索推荐
立马耀：通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统，驱动个性化推荐业务
蝉妈妈旗下蝉选通过迁移到阿里云 Serverless Spark 及 Milvus，解决传统架构性能瓶颈与运维复杂性问题。新方案实现离线任务耗时减少40%、失败率降80%，Milvus 向量检索成本降低75%，支持更大规模数据处理，查询响应提速。
阿里云大数据
865 57
JJLIN距离
|
12月前
|
人工智能 Java 物联网
Java与边缘AI：构建离线智能的物联网与移动应用
随着边缘计算和终端设备算力的飞速发展，AI推理正从云端向边缘端迁移。本文深入探讨如何在资源受限的边缘设备上使用Java构建离线智能应用，涵盖从模型优化、推理加速到资源管理的全流程。我们将完整展示在Android设备、嵌入式系统和IoT网关中部署轻量级AI模型的技术方案，为构建真正实时、隐私安全的边缘智能应用提供完整实践指南。
JJLIN距离
727 3
卓伊凡
|
数据采集 监控 网络协议
​MCP协议深度解析：原理、应用与物联网时代的机遇-优雅草卓伊凡
​MCP协议深度解析：原理、应用与物联网时代的机遇-优雅草卓伊凡
卓伊凡
1894 40
​MCP协议深度解析：原理、应用与物联网时代的机遇-优雅草卓伊凡
阿里云大数据
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台，实现了数据与 AI 技术的有效融合，解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台，最终实现不同场景下整体性能提升50%以上，同时综合成本下降30%。
阿里云大数据
1340 58
叫个什么名字
|
传感器 物联网 数据挖掘
新技术趋势与应用：物联网与虚拟现实的未来发展###
随着科技的迅猛发展，物联网（IoT）和虚拟现实（VR）已成为引领未来的重要技术趋势。本文旨在探讨这两项新兴技术的发展趋势和应用场景，通过分析当前技术现状、挑战及未来前景，揭示物联网和虚拟现实在各领域的潜在影响和应用价值。研究表明，物联网在智能家居、智慧城市、工业自动化等方面具有广泛的应用前景；而虚拟现实则在游戏娱乐、教育培训、医疗健康等领域展现出巨大的潜力。本文认为，随着技术的不断进步，物联网和虚拟现实将深度融合，为社会经济发展带来新的机遇和挑战。 ###
叫个什么名字
693 59
WBKJ_Noah18870292986
|
传感器 边缘计算 物联网
淘宝商品详情 API 与物联网技术融合的创新应用探索
在传统电商架构中，商品数据主要存储于云端服务器，但物联网设备的实时数据采集需求催生了边缘计算节点的部署。以智能货架为例，每个货架内置的RFID传感器与重量感应器实时采集商品库存变动数据，通过边缘计算网关进行数据预处理（如去重、异常值过滤），仅将关键信息（如库存低于阈值、商品被频繁拿起）通过淘宝商品详情API同步至云端。这种“边缘过滤+云端聚合”的模式，将数据传输量降低70%以上，同时确保库存数据的秒级更新。
WBKJ_Noah18870292986
355 0
青云交（Java大数据AI云原生Python）
|
存储 Java 大数据
Java 大视界 -- 基于 Java 的大数据实时流处理在工业物联网设备状态监测中的应用与挑战（167）
本文围绕基于 Java 的大数据实时流处理技术，深入探讨其在工业物联网设备状态监测中的应用与挑战。不仅介绍了技术架构、原理和案例，还引入边缘计算技术，提出应对数据质量、性能和安全等问题的策略。
青云交（Java大数据AI云原生Python）
489 0
阿里云大数据
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈，微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark，微财突破了单机训练使用的数据规模瓶颈，大幅提升了训练效率，解决了存算分离架构下 Shuffle 稳定性和性能困扰，为智能风控等业务提供了强有力的技术支撑。
阿里云大数据
894 15
zys_
|
存储 监控 安全
工业物联网关应用：PLC数据通过智能网关上传阿里云实战
本文介绍如何使用智能网关将工厂PLC数据传输至阿里云平台，适合中小企业远程监控设备状态。硬件准备包括三菱FX3U PLC、4G智能网关和24V电源。接线步骤涵盖PLC编程口与网关连接、运行状态检测及天线电源接入。配置过程涉及通讯参数、阿里云对接和数据点映射。PLC程序关键点包括数据上传触发和温度值处理。阿里云平台操作包含实时数据查看、数据可视化和规则引擎设置。最后提供常见故障排查表和安全建议，确保系统稳定运行。
zys_
1900 1

物联网

热门文章

最新文章

  • 1
    阿里云物联网无线连接服务：做好菜鸟无人车黑科技的幕后英雄
  • 2
    使用MQTT客户端连接阿里云MQTT服务器
  • 3
    物联网+智慧城建，智慧城市建设的新动能
  • 4
    IoT SaaS加速器——助力阿尔茨海默病人护理
  • 5
    阿里云的物联网之路
  • 6
    阿里云联合思普瑞上线平安社区服务平台 提供物联网一站式管理
  • 7
    阿里云新推出 HiTSDB + IoT套件 物联网设备上云步入快车道
  • 8
    AIoT设备上云最佳实践集锦【持续更新，建议收藏】
  • 9
    吃『派』那些事儿——阿里云物联网平台树莓派实战集锦
  • 10
    【直播回顾】小眯眼摄像头产品培训 - 物联网爆品推荐 - 88大促预告
  • 1
    Zigbee 组网从入门到踩坑（CC2530 实战）
    20
  • 2
    预付费电表接入阿里云API网关实现多租户水电独立结算
    67
  • 3
    从Zara的库存效率看RFID如何降低运营成本？
    58
  • 4
    AI Agent结合浏览器有哪些可落地任务
    50
  • 5
    数据加密软件，别急着全加密，先分清哪些丢不得
    40
  • 6
    电脑监控软件：一台陌生电脑进网之后
    44
  • 7
    局域网监控软件：看得见才管得住
    47
  • 8
    拆解1688供应链星级升级：B2B平台把口碑与履约写进评分卡
    74
  • 9
    onvif-go（mickeyzzc/onvif-go v2）完整参考手册：从建工程到写出自己的 NVR 接入
    57
  • 10
    想读电机控制开源固件的源码，从哪个项目开始
    85

    • 相关产品

  • 物联网平台
    文档详情 产品详情

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大咖带你聊物联网
  • 基于STM32的端到端物联网全栈开发
  • 走进阿里云物联网
  • 物联网平台云上开发
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！