物联网平台数据流转到datahub时报错

简介: 记录一次物联网平台数据流转到datahub时的报错

记录一次数据流转到datahub的报错,报错信息:{"Params":"ruleName:qtest1, actionId:1047","ResultData":"0ms","Content":"Transmit data to DataHub,project:demo_test_taro,topic:topic_2,from IoT topic:/******/******/user/update","Reason":"DatahubClientException:[httpStatus:5001, requestId:null, errorCode:null, errorMessage:Write record to dataHub occurs error! shardId:0,requestId:20221214161746a6d4d90b62f7aa3e,errors:[code:MalformedRecord message:blob data size mismatch.]]","clientId":"null"}Dingtalk_20221215230349.jpg

经过核实是在datahub中创建topic时,类型选的:BLOB。Dingtalk_20221215230044.jpg

这种类型经过测试只接收基本类型数据,所以在物联网平台测传递数据时需要转化下数据类型,需要这么写:writeDatahub(1047, toString(data));  之前报错是因为data是json的类型的,保存到datahub时就好报错,转化String类型就好了。

相关实践学习
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
目录
相关文章
|
6月前
|
SQL 关系型数据库 数据管理
Datahub实践——Sqllineage解析Sql实现端到端数据血缘
Datahub实践——Sqllineage解析Sql实现端到端数据血缘
792 1
|
8月前
|
关系型数据库 物联网 PostgreSQL
沉浸式学习PostgreSQL|PolarDB 11: 物联网(IoT)、监控系统、应用日志、用户行为记录等场景 - 时序数据高吞吐存取分析
物联网场景, 通常有大量的传感器(例如水质监控、气象监测、新能源汽车上的大量传感器)不断探测最新数据并上报到数据库. 监控系统, 通常也会有采集程序不断的读取被监控指标(例如CPU、网络数据包转发、磁盘的IOPS和BW占用情况、内存的使用率等等), 同时将监控数据上报到数据库. 应用日志、用户行为日志, 也就有同样的特征, 不断产生并上报到数据库. 以上数据具有时序特征, 对数据库的关键能力要求如下: 数据高速写入 高速按时间区间读取和分析, 目的是发现异常, 分析规律. 尽量节省存储空间
616 1
|
8月前
|
数据采集 JSON 关系型数据库
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
321 2
|
4月前
|
存储 监控 Apache
Flink整库同步 如何把数据丢入到 datahub 中
Flink整库同步 如何把数据丢入到 datahub 中
|
5月前
|
数据采集 SQL Oracle
助力工业物联网,工业大数据之DWD层构建:数据抽取分析【十一】
助力工业物联网,工业大数据之DWD层构建:数据抽取分析【十一】
54 0
|
5月前
|
人工智能 数据可视化 安全
Java带可视化数据大屏的物联网智慧工地系统源码
通过现场AI智能视频监控、临时设施动态管理,实时检测场地空间、资源、设施的运行状况,及时发现场地安全隐患,确保为工人营造一个安全、文明的场地作业环境。
62 0
|
6月前
|
存储 安全 物联网安全
物联网安全数据泄漏如何防范
物联网安全数据泄漏如何防范
107 0
|
6月前
|
数据采集 大数据 数据挖掘
企业级数据治理工作怎么开展?Datahub这样做
企业级数据治理工作怎么开展?Datahub这样做
|
8月前
|
数据采集 JSON 关系型数据库
将 MySQL 数据抽取并写入 DataHub
将 MySQL 数据抽取并写入 DataHub
179 3
|
9月前
|
物联网 数据处理 数据安全/隐私保护
物联网隐私保护:守护用户数据的数字隐私
本篇深入探讨了物联网中的隐私保护问题,包括用户数据隐私权利,匿名化与数据脱敏,以及法规与合规性。我们强调了保护用户数据隐私的重要性,并通过代码示例演示了如何使用加密库保护用户敏感数据。此外,我们介绍了匿名化和数据脱敏的概念,以及如何在数据处理中实施这些技术。最后,我们讨论了隐私保护法规,如GDPR和CCPA,以及确保物联网应用合规性的方法。通过这些内容,读者将更深入了解如何在物联网环境中有效地保护用户隐私,为构建可信赖的物联网生态系统提供了有益的指导。
193 0

相关产品

  • 物联网平台