阿里云物联网平台、DataHub、RDS和DataV集成样例

简介: 本文通过一个DEMO,演示了如何基于阿里云产品和服务实现设备数据在大屏上显示。在设备端模拟两个点位,通过MQTT协议向阿里云物联网平台设备(高级版)发送数据,物联网平台接收到数据后通过规则引擎转发至DataHub,接着在DataHub中通过DataConnector将数据同步到RDS MySQL数据库中,最终使用DataV将RDS MySQL中数据呈现在大屏上。

1.         概述

本文通过一个DEMO,演示了如何基于阿里云产品和服务实现设备数据在大屏上显示。在设备端模拟两个点位,通过MQTT协议向阿里云物联网平台设备(高级版)发送数据,物联网平台接收到数据后通过规则引擎转发至DataHub,接着在DataHub中通过DataConnector将数据同步到RDS MySQL数据库中,最终使用DataVRDS MySQL中数据呈现在大屏上。

物联网平台转发至DataHub是因为DataHub可以将数据同步至MaxComputer,为后续数据计算做准备。

2.         物联网平台

物联网平台主要负责获取设备端数据,并通过规则引擎将数据转发至Table StoreDataHubRDSMessage ServiceMessage QueueHiTSDBFC以及另外一个Topic

2.1.        创建产品

[1]       https://iot.console.aliyun.com/

[2]       【产品管理】-【高级版】-【创建产品】

e21d291673de256303543dfb6057d9fbebc4b03e

 

2.2.        添加设备

[1]       【设备管理】-【添加设备】

d692f51988f6fef323476676efd7c0ebf8f4c204

 

2.3.        创建规则-处理数据

[1]       【规则引擎】-【创建规则】

ac2040f0e7bfb3ba0604436bb5a8b24a4c1a66dc

 

[2]       编写SQL

n  【规则引擎】-【规则列表】-【管理】:规则详情

n  完成【字段】、【Topic】的填写后,自动生成【规则查询语句:】SELECT content, age FROM “/a1aTa12qI93/myiRobot/user/update” WHERE

4da30eb0436c02febac30bbd7d002d599c8cb9a4

2.4.        规则引擎-添加操作

[1]       【添加操作】-【发送数据到DataHub】:如果未创建DataHub,则按第3小节说明创建DataHub

424c7c8117b188c3459e8fddddef7b8c821be3f2

 

2.5.        启动规则引擎

 

9e78ad6f3941edb642312c0aa2360841a864ec24

3.         DataHub

3.1.        创建Topic

[1]       进入阿里云DataHub控制台https://datahub.console.aliyun.com/

[2]       【项目管理】-【华东2(上海)】-【创建Project

[3]       【项目列表】-【查看】-【创建Topic】:添加两个点位,c1c2

 

98a40708a66b9c4482babb4d2990e482dbb0ebc6

 

b9f755397ecac0b52bbb8b1dffa0f9387f37c1cc

3.2.        数据同步

[1]       【项目管理】-【华东2-myirobotdatahub-【查看】-gettwostring-【查看】-DataConnector

[2]       【同步到RDS Mysql: 如果RDS未创建,则按第4小节描述操作

1cab32b692b681b6edea0d7e6335468c28a03e79

4.         RDS Mysql

4.1.        创建实例

[1]       https://rdsnext.console.aliyun.com

[2]       创建实例后,需等候几分钟。

3425bac7309fda8b46d4641f736ff9afbd690783

4.2.        建表

[1]       【云数据库RDS-【管理】-【基本信息】:以下数据需要在DataHub中填写

n  内网地址

n  内网端口

[2]       【云数据库RDS-【管理】-【账号管理】:root和密码

[3]       【云数据库RDS-【管理】-【数据库管理】-【创建数据库】:mydb

[4]       【云数据库RDS-【管理】-【数据库管理】-【数据安全性】:设置成允许任何IP访问, 0.0.0.0/0

[5]       【云数据库RDS-【管理】-【登录数据库】:通过DMS管理数据,新建表mytable,两个字段

8218aed5ef28f573fb81d73060f373bbbf4f29c9

 

4f2e031889d30c60b99bd46272a8a53bc2633f90

5.         DataV

[1]       http://datav.aliyun.com/ 51/

[2]       数据源:【域名】填写RDS内网地址,【名称】可自定义,【用户名】和【密码】和RDS中设置保持一致

[3]       SQL: SELECT c1,c2 FROM mytable

24146eebffe4c5bbb36860799293d76dfdafc039

[4]       【我的可视化】-【新建可视化】:选择列表区域后,右下角【自定义列】

n  标签1

Ø  列字段名c1

Ø  列显示名content

n  标签2

Ø  列字段名c2

Ø  列显示名age

eaf1754af8497d70f5f449ccffa24027f1155806

 

6.         验证

6.1.        运行MQTT客户端

[1]            进入官网:www.aliyun.com

[2]            【文档】-【阿里云物联网平台】> 【设备端开发指南】> SDK使用参考】> JAVA-SDK (MQTT)

[3]            下载iotx-sdk-mqtt-java-20170526.zip

[4]            解压iotx-sdk-mqtt-java-20170526

[5]            导入Eclipse

n  file-import-Maven-Existing Maven Projects

n  编辑SimpleClient4IOT.java文件以下内容

(1)  修改设备三元组

n  public static String deviceName = "myiRobot";

n  public static String productKey = "a1aTa12qI93";

n  public static String secret = "WvHXg4EZqSFkVephkPQ1N1**********";

(2)  修改topic

n  private static String subTopic = "/" + productKey + "/" + deviceName + "/user/get";

n  private static String pubTopic = "/" + productKey + "/" + deviceName + "/user/update";

n  修改content

(3)  运行Java Applicatiion

c8e77e4f6351718abc9497eb95e44b9b14488b27

3f19f25841568ff6a37ee25445d8ada96ce21118

1a09d3ea385d9c760fc17140e3a325d5140663d9

fcc0626e27a6b827c848e26bcdbf2ffc06fea3b1

 


6.2.        DataHub控制台

564783d0e0c95d3cfb1aab1212e55836f6785025

6.3.        RDS

804c3f4cb45efaa3ca906ee85621dbed3b4786a8

 

6.4.        DataV

5741d1d27500a62d8be6edb9b519e8957cdb26db

相关实践学习
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
目录
相关文章
|
8月前
|
存储 运维 监控
物联网平台常见类别及对应平台(一)
物联网平台常见类别及对应平台(一)
524 0
|
3月前
|
消息中间件 DataWorks 物联网
MQTT问题之接入阿里云物联网平台如何解决
MQTT接入是指将设备或应用通过MQTT协议接入到消息服务器,以实现数据的发布和订阅;本合集着眼于MQTT接入的流程、配置指导以及常见接入问题的解决方法,帮助用户实现稳定可靠的消息交换。
208 1
|
5月前
|
SQL Java 流计算
Flink CDC在代码里面集成cdc的时候,是不是也要用上面这个胖包flink-sql-connector-mysql-cdc,不要去用瘦包flink-connector-mysql-cdc? com.ververica flink-sql-connector-mysql-cdc 2.4.0
Flink CDC在代码里面集成cdc的时候,是不是也要用上面这个胖包flink-sql-connector-mysql-cdc,不要去用瘦包flink-connector-mysql-cdc? com.ververica flink-sql-connector-mysql-cdc 2.4.0
51 1
|
12天前
|
机器学习/深度学习 传感器 物联网
【Python机器学习专栏】机器学习在物联网(IoT)中的集成
【4月更文挑战第30天】本文探讨了机器学习在物联网(IoT)中的应用,包括数据收集预处理、实时分析决策和模型训练更新。机器学习被用于智能家居、工业自动化和健康监测等领域,例如预测居民行为以优化能源效率和设备维护。Python是支持物联网项目机器学习集成的重要工具,文中给出了一个使用`scikit-learn`预测温度的简单示例。尽管面临数据隐私、安全性和模型解释性等挑战,但物联网与机器学习的结合将持续推动各行业的创新和智能化。
|
13天前
|
分布式计算 DataWorks 关系型数据库
DataWorks操作报错合集之DataWorks集成实例绑定到同一个vpc下面,也添加了RDS的IP白名单报错:数据源配置有误,请检查,该怎么处理
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
27 0
|
13天前
|
分布式计算 DataWorks MaxCompute
DataWorks产品使用合集之在DataWorks中,将数据集成功能将AnalyticDB for MySQL中的数据实时同步到MaxCompute中如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
24 0
|
13天前
|
DataWorks 安全 关系型数据库
DataWorks产品使用合集之在 DataWorks 中使用数据集成从 MySQL 导入数据到 GDB 执行同步任务脚本的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
23 0
|
28天前
|
消息中间件 存储 JavaScript
阿里云IOC物联网异步处理基础概念
该内容介绍了异步处理基础和消息队列的相关概念。首先,同步处理指任务完成后才能执行其他操作,而异步则允许任务并行执行,不阻塞程序。异步能提高系统并发性和响应性,但也增加复杂性和资源消耗。接着,提到了消息队列,包括生产者、消费者、队列、broker和topic等概念,并指出在IoT中,设备作为生产者发送消息到特定topic,消费者从队列获取数据。最后,简要介绍了AMQP协议,它是用于应用程序间消息传递的开放标准,常用于分布式系统和物联网,如RabbitMQ和Apache Qpid。课程将以Apache Qpid为例接收IoT数据。
132 6
阿里云IOC物联网异步处理基础概念
|
3月前
|
消息中间件 存储 物联网
|
3月前
|
消息中间件 网络协议 物联网
MQTT协议问题之阿里云物联网服务器断开如何解决
MQTT协议是一个轻量级的消息传输协议,设计用于物联网(IoT)环境中设备间的通信;本合集将详细阐述MQTT协议的基本原理、特性以及各种实际应用场景,供用户学习和参考。
159 1

相关产品

  • 物联网平台
  • 推荐镜像

    更多