IoT设备的数据格式ProtoBuf转JSON

简介: 本文介绍如何使用阿里云物联网平台的数据服务之数据解析功能实现设备数据格式ProtoBuf转JSON以及窗口聚合和插值计算。

本文介绍如何使用阿里云物联网平台的数据服务之数据解析功能实现设备数据格式ProtoBufJSON以及窗口聚合和插值计算。


背景信息
ProtoBufJSON作为目前两种主流网络数据结构,有着各自的特点和应用场景,随着物联网应用场景日趋复杂,不同场景数据交换上有不同要求。JSON主要应用于Web浏览器到服务器数据传输,ProtoBuf主要用于客户端到服务器端高效安全数据传输。若能实现两者的转换,可以促进数据交互,极大地提高开发效率。另外在物联网设备数据中,存在数据质量不稳定,设备上报的数据可能会受所处网络或者复杂工况影响,与典型的互联网数据对比往往需要进行数据预处理,比如插值计算和采样等。阿里云物联网平台即可通过数据服务之数据解析功能实现设备数据格式ProtoBufJSON以及窗口聚合和插值计算等。


操作步骤概要

1.进入物联网平台控制台,开通企业版实例,和数据服务相关的是如下4个规格。控制台地址:https://iot.console.aliyun.com
1.png2.png
2.
开通完成后,点击企业版实例卡片进入实例详情页,再点击数据服务进入数据相关的功能页。

3.png3.进入数据服务-数据解析功能页,创建数据解析任务。

4.png5.png4.点击查看进入任务编辑画布,配置数据源节点,选择设备上报数据的Topic(支持通配)。

6.png5.Topic格式选择ProtoBuf,完成样例数据配置和校验。单击上传.desc文件,上传.desc文件,用于解析ProtoBuf格式数据。生成.desc文件方法,请参见附录:生成.desc文件。选择消息类型后,单击上传二进制数据文件,配置样例数据。配置样例数据后,单击校验解析:若解析成功,可在解析预览中查看数据。若解析失败,则根据提示,修正样例数据后,重新校验。

7.png6.选择消息类型后,单击上传二进制数据文件,配置样例数据。配置样例数据后,单击校验解析:若解析成功,可在解析预览中查看数据。若解析失败,则根据提示,修正样例数据后,重新校验。

8.png7.完成数据解析的源节点配置后,您可根据源节点的数据,配置字段和表达式,添加筛选器。通过解析生成多样化的数据,可用于后续分析或输出。

9.png8.完成数据解析的处理配置后,您可根据处理节点的输出字段,完成Topic解析任务最终的输出配置。在数据解析工作台左侧的节点列表中,拖拽目标节点到中间画布,选中目标节点,在目标节点面板,选择目标类型及其具体配置。

10.png9.目标节点配置完成后,您需对数据解析任务进行调试和发布,投递到Topic的就是JSON格式。在数据解析工作台,单击画布左上方的校验图标。若校验成功,则可发布上线。单击画布下方的数据结构,可查看解析后的对应内容。若校验失败,则出现报错。根据提示修正配置后,重新调试。调试成功后,单击页面右上角的启动。单击启动后,跳转至数据解析页面,启动任务显示状态为启动中。启动后的数据解析任务状态会自动更新为在线,请耐心等待。

11.png12.png13.png相关产品文档

1创建数据解析任务:https://help.aliyun.com/document_detail/307083.html

2配置源节点:https://help.aliyun.com/document_detail/307085.html

3附录:生成.desc文件教程:https://help.aliyun.com/document_detail/307085.html

4配置表达式和筛选器:https://help.aliyun.com/document_detail/307086.html

5配置目标节点:https://help.aliyun.com/document_detail/307087.html

6校验与发布:https://help.aliyun.com/document_detail/307088.html

 

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
目录
相关文章
|
8天前
|
传感器 物联网 网络架构
ENS、IoT设备、X86、ARM
ENS(Enterprise Name Service)是企业名称服务,是一种为物联网设备提供命名和寻址服务的技术。ENS通过为物联网设备分配唯一的名称和地址,使得物联网设备可以被网络中的其他设备和服务所识别和访问。 IoT设备(Internet of Things device)是连接到互联网的物理设备,可以收集和共享数据,用于监测、控制和优化各种业务流程和操作。IoT设备包括各种传感器、执行器、网关和路由器等。
45 2
|
8天前
|
网络协议 物联网 5G
K3S 系列文章 -5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout' 分析与解决
K3S 系列文章 -5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout' 分析与解决
|
8天前
|
安全 物联网 Android开发
构建未来:Android与IoT设备的无缝集成
【5月更文挑战第10天】 在数字化时代的浪潮中,智能设备与互联网的结合日益紧密。本文深入探讨了Android系统如何通过其开放性和灵活性成为连接物联网(IoT)设备的关键枢纽。我们将分析Android平台与IoT设备集成的技术途径,探索它们如何共同塑造智能家居、可穿戴技术以及工业自动化等领域的未来。文中不仅阐述了当前的发展状况,还展望了未来的发展趋势,特别是安全性和隐私保护方面的挑战及对策。
16 1
|
8天前
|
XML JSON 中间件
中间件数据格式JSON与XML之间的转换
中间件数据格式JSON与XML之间的转换
31 3
|
8天前
|
新零售 JSON 物联网
振南技术干货集:制冷设备大型IoT监测项目研发纪实(7)
振南技术干货集:制冷设备大型IoT监测项目研发纪实(7)
|
10月前
|
JSON 数据可视化 数据挖掘
python数据可视化开发(2):pandas读取Excel的数据格式处理(数据读取、指定列数据、DataFrame转json、数学运算、透视表运算输出)
python数据可视化开发(2):pandas读取Excel的数据格式处理(数据读取、指定列数据、DataFrame转json、数学运算、透视表运算输出)
236 0
|
8天前
|
JSON 算法 JavaScript
JSON比较:如何轻松判断数据格式是否相同?
JSON比较:如何轻松判断数据格式是否相同?
82 0
|
8月前
|
传感器 监控 数据可视化
手把手教你用IoT设备监控家庭环境数据
本实验带您体验如何通过六合一传感器(温度、湿度、二氧化碳、PM2.5、PM10、甲醛)实现家庭环境数据实时采集,并搭建可视化大屏实时监控。
312 0
|
8天前
|
XML 存储 JSON
详细比较JSON和XML这两种数据格式
详细比较JSON和XML这两种数据格式
138 2
|
8天前
|
存储 JSON JavaScript
QT JSON数据格式讲解
QT JSON数据格式讲解
44 0