Data常见问题之Topic篇

简介: 介绍有关DataHub Topic的常见问题

如何修改Topic生命周期
调用Java SDK中的updateTopic方法即可

使用Java sdk写入大批数据,没有写入成功,也没有报错
使用putrecord方法,写入失败不会报错,需要对函数进行判断,也可以通过getFailedRecordCount获取用失败记录数,最优解升级datahub采用putRecordByShard方法

创建Tuple类型的Topic timestamp类型是什么?
datahub中timestamp类型本质上是一个long类型

上游数据源发生变化,topic如何设计?

针对确定的数据源,每一条记录字段可能为空的情况,创建Topic时可选择字段类型允许为null,这样上游同步数据字段缺少的在datahub中会默认为null

Topic字段如何动态修改?

只支持添加字段,调用appendField方法【目前只支持java sdk】进行添加字段
删除字段,修改字段datahub不支持

创建Topic字段众多,无法修改有何解决办法?
针对topic创建错了而且字段众多的情况,可以使用datahub console命令工具

址:https://help.aliyun.com/document_detail/164488.html?spm=a2c4g.11174283.6.602.78d763ef4g8rKQ
先使用gts命令将SCHEMA结构导出为json文件,修改后使用rtc命令解析json文件自动创建Topic
DataHub支持批量创建Topic,使用datahub console命令工具的script脚本即可

相关实践学习
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
相关文章
|
22天前
|
消息中间件 Kafka API
kafka Consumer high-level api 之白名单
kafka Consumer high-level api 之白名单
|
7月前
|
消息中间件 RocketMQ
RocketMQ报错:MQClientException:no route info of this topic的解决
RocketMQ报错:MQClientException:no route info of this topic的解决
143 0
|
7月前
|
消息中间件 Kafka Apache
kafka2.x常用命令笔记(一)创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费
kafka2.x常用命令笔记(一)创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费
278 0
|
7月前
|
消息中间件 Kafka
132 Kafka 查找message
132 Kafka 查找message
29 0
|
10月前
|
消息中间件 Kafka
为什么kafka 需要 subscribe 的 group.id?我们是否需要使用 commitSync 手动提交偏移量?
Kafka 使用消费者组的概念来实现主题的并行消费 - 每条消息都将在每个消费者组中传递一次,无论该组中实际有多少个消费者。所以 group 参数是强制性的,如果没有组,Kafka 将不知道如何对待订阅同一主题的其他消费者。
147 2
|
消息中间件 JSON 运维
Rocket MQ报错No route info of this topic的问题探究
Rocket MQ报错No route info of this topic的问题探究
668 0
|
存储 消息中间件 数据安全/隐私保护
RocketMq Topic创建和删除
RocketMq Topic创建和删除
4513 0
|
消息中间件 RocketMQ
|
消息中间件 Kafka
Error when sending message to topic wyh-elk-kafka-topic with key: null
Error when sending message to topic wyh-elk-kafka-topic with key: null

热门文章

最新文章