低级 API 之获取分区数据 | 学习笔记

简介: 快速学习低级 API 之获取分区数据

开发者学堂课程【分布式消息系统 Kafka 快速入门:低级 API 之获取分区数据】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/98/detail/1617


低级 API 之获取分区数据


一、获取分区数据

获取数据需要连到具体的 leader 上来获取,也需要用到 simpleconsumer 来获取具体的数据,调用 fetch 方法。

在获取数据之前,需要找到领导,需要用到的参数就要在之前传入。  

除此之外,还要将 offset 也传入进去。之后在进行获取分区 leader。

由于传入的类型不同,所以需要对 leader 进行转型。

此后连接的就是0号分区的领导。

之后调用 fetch 方法,调用方法还需要提出请求。通过 fetchrequest builder,addfetch 定义,此处定义的就是一次抓取的大小。虽然是 int 类型,但此处指的是缓存大小,所以不能根据参数类型误解此处含义。

int 不是条数,是字节数。而字节数大小一般用 long 定义,但此处特殊。

用 bild 的构建,返回的是 fetchrequest ,以下为创建获取数据的对象代码。

在解析时,还需要传入具体需要的分区数据。因为在请求当中可以放多个 Partition,解析时就需要进行具体传入。

实现以下步骤才获得了一条条的数据。

遍历获取数据之后对每条数据进行打印,每次都是从传进来的 offset 中进行获取,如果想做成与高级 api 相同的效果,就需要在 offset 拿到之后将其保存下来,在下次创建请求之前,先把 offset 获取到,至于 offset 的保存位置是不固定的。

过程总结为获取分区 leader ,获取数据的消费者对象,创建获取数据的对象,获取数据返回值,解析返回值,遍历并打印。

相关文章
|
9天前
|
开发框架 JSON 缓存
震撼发布!Python Web开发框架下的RESTful API设计全攻略,让数据交互更自由!
在数字化浪潮推动下,RESTful API成为Web开发中不可或缺的部分。本文详细介绍了在Python环境下如何设计并实现高效、可扩展的RESTful API,涵盖框架选择、资源定义、HTTP方法应用及响应格式设计等内容,并提供了基于Flask的示例代码。此外,还讨论了版本控制、文档化、安全性和性能优化等最佳实践,帮助开发者实现更流畅的数据交互体验。
29 1
|
2月前
|
存储 JSON API
淘系API接口(解析返回的json数据)商品详情数据解析助力开发者
——在成长的路上,我们都是同行者。这篇关于商品详情API接口的文章,希望能帮助到您。期待与您继续分享更多API接口的知识,请记得关注Anzexi58哦! 淘宝API接口(如淘宝开放平台提供的API)允许开发者获取淘宝商品的各种信息,包括商品详情。然而,需要注意的是,直接访问淘宝的商品数据API通常需要商家身份或开发者权限,并且需要遵循淘宝的API使用协议。
淘系API接口(解析返回的json数据)商品详情数据解析助力开发者
|
1月前
|
XML JSON API
淘宝京东商品详情数据解析,API接口系列
淘宝商品详情数据包括多个方面,如商品标题、价格、图片、描述、属性、SKU(库存量单位)库存、视频等。这些数据对于买家了解商品详情以及卖家管理商品都至关重要。
|
2月前
|
数据采集 API 开发工具
淘系商品详情数据解析(属性youhui券sku详情图等)API接口开发系列
在电商领域,特别是像淘宝(淘系)这样的平台,商品详情数据对于商家、开发者以及数据分析师来说至关重要。这些数据包括但不限于商品属性、优惠券信息、SKU(Stock Keeping Unit)详情、商品图片、售后保障等。然而,直接访问淘宝的内部API接口通常需要特定的权限和认证,这通常只对淘宝的合作伙伴或内部开发者开放。 不过,对于需要这些数据的第三方开发者或商家,有几种方式可以间接获取或解析淘系商品详情数据: ——在成长的路上,我们都是同行者。这篇关于商品详情API接口的文章,希望能帮助到您。期待与您继续分享更多API接口的知识,请记得关注Anzexi58哦!
|
2月前
|
存储 算法 Java
Go 通过 Map/Filter/ForEach 等流式 API 高效处理数据
Go 通过 Map/Filter/ForEach 等流式 API 高效处理数据
|
2月前
|
人工智能 监控 安全
F5社区学习笔记:API和AI如何改变应用安全?
F5社区学习笔记:API和AI如何改变应用安全?
31 1
|
2月前
|
jenkins API 持续交付
jenkins学习笔记之十五:SonarSQube API使用
jenkins学习笔记之十五:SonarSQube API使用
|
2月前
|
监控 API
【Azure API 管理】APIM的容量指标(Capacity)数据异常高的情况记录
【Azure API 管理】APIM的容量指标(Capacity)数据异常高的情况记录
|
2月前
|
机器人 API Python
智能对话机器人(通义版)会话接口API使用Quick Start
本文主要演示了如何使用python脚本快速调用智能对话机器人API接口,在参数获取的部分给出了具体的获取位置截图,这部分容易出错,第一次使用务必仔细参考接入参数获取的位置。
121 1
下一篇
无影云桌面