备案控制台
探索云世界
开发者社区 物联网 文章 正文

【Spark Summit EU 2016】物联网中的Lambda架构——使用Spark Streaming与MLlib进行快速数据分析

2017-02-15 2328
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Bas Geerdink在Spark Summit EU 2016上的演讲，主要介绍了物联网时代新的数据形式、新的用例、新的技术以及新的挑战，并介绍了什么是快速数据以及什么是大数据，并详细地介绍了物联网中的Lambda架构，流处理和批处理的相关内容以及如何使用Spark Streaming与MLlib进行快速数据分析。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Bas Geerdink在Spark Summit EU 2016上的演讲，主要介绍了物联网时代新的数据形式、新的用例、新的技术以及新的挑战，并介绍了什么是快速数据以及什么是大数据，并详细地介绍了物联网中的Lambda架构，流处理和批处理的相关内容以及如何使用Spark Streaming与MLlib进行快速数据分析。


2a0603633b301174bdc58d3fb52e6eabc4aacd5f

6119f0bf240069d7d6d064c65ee8980b06d56896

a4121fd6af9a676ca114c7c24c010857649f5285

8ee67614039f6e7b81a00ed6909db7cbc7d7eee8

99dd9d784129872d08a3c479310a219a96ef76f0

de007b47d0b2a5e48883d6f33771855ffdb3130c

6b61703a37b28ee5596091d02ac10f22990bc7ea

510f1d472dbe6660a91bfe1378edde0f117f743b

498e175564b0e7c3b6bc197c43f15c78778e1fe8

b9571db8319f2026ec3ae56edbb53edd773d80d9

7d1fd66faba6e429b60c82c846721f2d900432be

929962c0f7167b3f24f8729e748fb33a91f203d3

92df798e6ba13dec3f83b8bb5a6fd34014a66420

e687f5e8a6cf527e32e94916a0135f01857f35d3

26de2aa4f784bac61093df0799e613c27b1ee3dc

de3210416ca50d2a722af1f4fd1178619fb546b2

360c027eca2085c517bec7d09e6455917c29af58

2a816605af4e486216a78486de1af7b77b67f5a2

9db637f56236abde6a5d69386c94f3626a3dd7fb

768480eff9bb7a3dc029b861182c29635f3fe846

ffd9636dbe3bc7d5c35239b0ca2cd475c873b21a

26f93e8a1fba253625ec2d4987640083dbc08916

e557544b3f494d6cda6bbd27150d5c8439cae4d9

ff034936419180669bfc652e462452e1af5b4e37

a3d45994268c9071e972aa9f30c62b1faf0e3476

3ec007e3d3013311a1f2558c02baa7ca512934a0

78a5c948712f95c25f2b4eada79d2041c4ab75bc

文章标签：
物联网平台
云原生大数据计算服务 MaxCompute
物联网
大数据
分布式计算
Spark
流计算
测试技术
数据挖掘
MaxCompute
关键词：
架构lambda
apache spark streaming
物联网架构
apache spark mllib
MLlib spark
相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台，通过云产品流转到函数计算FC，调用钉钉群机器人API，实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品，7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前，请先开通下方两个云产品，让学习更流畅： IoT物联网平台：https://iot.console.aliyun.com/ LinkWAN物联网络管理平台：https://linkwan.console.aliyun.com/service-open
小猫吃鱼569
目录
相关文章
极客李华
|
3月前
|
机器学习/深度学习 分布式计算 算法
Spark中的机器学习库MLlib是什么？请解释其作用和常用算法。
Spark中的机器学习库MLlib是什么？请解释其作用和常用算法。
极客李华
37 0
热烈的马
|
4月前
|
SQL 存储 分布式计算
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍（图文解释 超详细）
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍（图文解释 超详细）
热烈的马
191 0
晓之以理的喵~~
|
3月前
|
机器学习/深度学习 分布式计算 算法
Spark MLlib简介与机器学习流程
Spark MLlib简介与机器学习流程
晓之以理的喵~~
40 0
晓之以理的喵~~
|
3月前
|
分布式计算 资源调度 Kubernetes
Spark集群部署与架构
Spark集群部署与架构
晓之以理的喵~~
71 0
热烈的马
|
4月前
|
机器学习/深度学习 分布式计算 搜索推荐
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
热烈的马
78 0
热烈的马
|
4月前
|
机器学习/深度学习 分布式计算 前端开发
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
热烈的马
35 0
热烈的马
|
4月前
|
机器学习/深度学习 分布式计算 大数据
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
热烈的马
27 0
热烈的马
|
4月前
|
机器学习/深度学习 分布式计算 算法
【大数据技术】Spark MLlib机器学习库、数据类型详解（图文解释）
【大数据技术】Spark MLlib机器学习库、数据类型详解（图文解释）
热烈的马
47 0
热烈的马
|
4月前
|
分布式计算 资源调度 大数据
【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解（图文解释）
【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解（图文解释）
热烈的马
193 0
游客799
|
4天前
|
存储 供应链 物联网
未来技术纵横谈：区块链、物联网与虚拟现实的融合革新
【4月更文挑战第21天】 随着科技不断进步，新兴技术正在重塑我们的世界。本文将深入探讨三种引人注目的技术——区块链、物联网（IoT）和虚拟现实（VR）——它们各自的发展趋势及其在不同领域的应用前景。区块链技术以其不可篡改的数据记录特性，在金融安全、供应链管理等领域展现出巨大潜力；物联网通过智能设备互联，推动智能家居、智慧城市的发展；而虚拟现实则以其沉浸式体验，改变教育、娱乐等多个行业的面貌。这些技术的交叉融合预示着一个更加智能、互联和虚拟的未来。
游客799
17 5

物联网

热门文章

最新文章

  • 1
    使用MQTT客户端连接阿里云MQTT服务器
  • 2
    IoT SaaS加速器——助力阿尔茨海默病人护理
  • 3
    物联网发展的三大编程语言
  • 4
    PostgreSQL "物联网"应用 - 1 实时流式数据处理案例(万亿每天)
  • 5
    物联网平台实用技巧：调用API获取设备状态
  • 6
    吃『派』那些事儿——阿里云物联网平台树莓派实战集锦
  • 7
    阿里云物联网消息透传设备端payLoad设置问题
  • 8
    uDevice Center - IoT在线开发板/设备平台
  • 9
    一个简单算法可以帮助物联网,金融 用户 节约98%的数据存储成本 (PostgreSQL,Greenplum帮你做到)
  • 10
    LoRaWAN开放式实验平台
  • 1
    墨水屏电子纸标签/电子纸价签领域如何选择无线通信方案？
    6
  • 2
    基于Vulnhub靶场之DC-3渗透测试过程
    18
  • 3
    “大厂”角力移动办公系统市场，钉钉和企微向左、WorkPlus向右
    12
  • 4
    瑞典全国核心数据被一锅端，企业数字安全还能好吗？
    18
  • 5
    MQTT微消息队列服务器连接报错：Error: Connection refused: Not authorized
    35
  • 6
    性能工具之emqtt-bench BenchMark 测试示例
    52
  • 7
    如何入门做物联网系统压测？
    71
  • 8
    低功耗广域网的代表主要有LORA和NB-IOT和TPUNB
    28
  • 9
    嵌入式开发常用的接口和通信协议
    27
  • 10
    hibernate二级缓存
    12

    • 相关产品

  • 物联网平台
    文档详情 产品详情

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 每个IT人都想学的“Web应用上云经典架构”实战
  • MySQL引擎及架构优化
  • 倚天大数据电商数据分析快速实践
  • 温控器设备接入IoT物联网平台与数据管理实践
  • AnalyticDB MySQL游戏行业数据分析实践
  • 基于数据湖架构的网站访问行为分析
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）