【Azure Event Hub】Event Hub的Process Data页面无法通过JSON格式预览数据

简介: 【Azure Event Hub】Event Hub的Process Data页面无法通过JSON格式预览数据

问题描述

在Event Hub的门户页面中,可以通过Process Data页面查看Event Hub中的数据,但是当使用JSON格式预览时(View in JSON),却出现错误。

消息一: No data was found for preview from 'test01'. Make sure the input has recently received data and the correct format of those events has been selected. [SessionID: 6b15d63464bf41f9b6e6c758f58a26ef

消息二:Source '<unknown_location>' had 1 occurrences of kind 'InputDeserializerError.InvalidData' between processing times '2023-07-24T06:24:42.5057556Z' and '2023-07-24T06:24:42.5057556Z'. Could not deserialize the input event(s) from resource 'Partition: [0], Offset: [0], SequenceNumber: [0]' as Json. Some possible reasons: 1) Malformed events 2) Input source configured with incorrect serialization format

 

只是,在Event Hub中是存有数据的。如下图左边的Incoming Message中,有98条数据,但是在右边的Query页面中,却无法正确显示。

 

问题解答

在错误消息二中,出现了“ Input source configured with incorrect serialization format ”指明了数据解析为JSON过程中出现了不正确的序列化格式。这里就很明确的说明了无数据显示的原因是数据格式错误引起。 为了进一步调查这个问题,就需要通过其他方式获取出消息的内容,然后检查为什么它不是一个正确的JSON格式。

方式一:在Process Data页面中,选择 View by CSV - comma(,) 可以看见内容,但是发现格式很不一致,无法准确判断。

方式二:为了准确的获取到Event Hub中的数据,可以使用Azure Event Hub官方推荐的一个工具 Service Bus Explorer(下载地址:https://sourceforge.net/projects/service-bus-explorer.mirror/)来获取Event Hub中的数据。

操作动画演示:

在上图的工具中,直接查看到JSON的格式中,存在两个 Test/test, 虽然它们的首字母分别为大小写。

但是从测试的结果证明: Event Hub Process Data页面不识别大小写。所以在进行格式转换的时候抛出了 “InputDeserializerError.InvalidData : Input source configured with incorrect serialization format ”

 

最后确认

由于Event Hub的Process Data页面使用的是Azure中另一个服务ASA(流分析)来处理数据,在处理时识别不了有大小写不敏感的JSON字符串。由于ASA是大小写不敏感的流处理工具,所以在转换JSON时会忽略大小写,如果有相同的字段会解析失败。

所以,如果要查看数据,可以修改发送到Event Hub中的数据内容,或者通过Service Bus Explorer工具,及其他使用SDK自行编写的消费端代码。

 

参考资料

Service  Bus Explorer : https://sourceforge.net/projects/service-bus-explorer.mirror/

Use Service Bus Explorer to run data operations on Service Bus : https://learn.microsoft.com/en-us/azure/service-bus-messaging/explorer

 

 

 

 

 

 

相关文章
|
4月前
|
JSON API 数据格式
淘宝拍立淘按图搜索API系列,json数据返回
淘宝拍立淘按图搜索API系列通过图像识别技术实现商品搜索功能,调用后返回的JSON数据包含商品标题、图片链接、价格、销量、相似度评分等核心字段,支持分页和详细商品信息展示。以下是该API接口返回的JSON数据示例及详细解析:
|
4月前
|
JSON 算法 API
Python采集淘宝商品评论API接口及JSON数据返回全程指南
Python采集淘宝商品评论API接口及JSON数据返回全程指南
|
4月前
|
JSON API 数据安全/隐私保护
Python采集淘宝拍立淘按图搜索API接口及JSON数据返回全流程指南
通过以上流程,可实现淘宝拍立淘按图搜索的完整调用链路,并获取结构化的JSON商品数据,支撑电商比价、智能推荐等业务场景。
|
4月前
|
JSON 中间件 Java
【GoGin】(3)Gin的数据渲染和中间件的使用:数据渲染、返回JSON、浅.JSON()源码、中间件、Next()方法
我们在正常注册中间件时,会打断原有的运行流程,但是你可以在中间件函数内部添加Next()方法,这样可以让原有的运行流程继续执行,当原有的运行流程结束后再回来执行中间件内部的内容。​ c.Writer.WriteHeaderNow()还会写入文本流中。可以看到使用next后,正常执行流程中并没有获得到中间件设置的值。接口还提供了一个可以修改ContentType的方法。判断了传入的状态码是否符合正确的状态码,并返回。在内部封装时,只是标注了不同的render类型。再看一下其他返回的类型;
256 3
|
4月前
|
JSON Java Go
【GoGin】(2)数据解析和绑定:结构体分析,包括JSON解析、form解析、URL解析,区分绑定的Bind方法
bind或bindXXX函数(后文中我们统一都叫bind函数)的作用就是将,以方便后续业务逻辑的处理。
344 3
|
5月前
|
JSON API 数据安全/隐私保护
Python采集淘宝评论API接口及JSON数据返回全流程指南
Python采集淘宝评论API接口及JSON数据返回全流程指南
|
5月前
|
JSON 自然语言处理 监控
淘宝关键词搜索与商品详情API接口(JSON数据返回)
通过商品ID(num_iid)获取商品全量信息,包括SKU规格、库存、促销活动、卖家信息、详情页HTML等。
|
6月前
|
JSON API 数据安全/隐私保护
深度分析淘宝卖家订单详情API接口,用json返回数据
淘宝卖家订单详情API(taobao.trade.fullinfo.get)是淘宝开放平台提供的重要接口,用于获取单个订单的完整信息,包括订单状态、买家信息、商品明细、支付与物流信息等,支撑订单管理、ERP对接及售后处理。需通过appkey、appsecret和session认证,并遵守调用频率与数据权限限制。本文详解其使用方法并附Python调用示例。
|
5月前
|
机器学习/深度学习 JSON 监控
淘宝拍立淘按图搜索与商品详情API的JSON数据返回详解
通过调用taobao.item.get接口,获取商品标题、价格、销量、SKU、图片、属性、促销信息等全量数据。
|
5月前
|
JSON 缓存 自然语言处理
多语言实时数据微店商品详情API:技术实现与JSON数据解析指南
通过以上技术实现与解析指南,开发者可高效构建支持多语言的实时商品详情系统,满足全球化电商场景需求。