AI 助理
备案控制台
开发者社区 问答 正文

消费kafka数据的时候，如何处理脏数据呀？

消费kafka数据的时候，如何处理脏数据呀？

展开
收起
游客5ixw6pdymb5xs 2021-12-08 13:45:43 798 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客adifubdl4lvhs

    可以在处理前加一个fliter算子，将不符合规则的数据过滤出去。

    2021-12-08 13:46:12
    赞同 展开评论
问答分类：
消息中间件 Kafka 云消息队列 Kafka 版
问答标签：
云消息队列 Kafka 版数据 云消息队列 Kafka 版脏数据 云消息队列 Kafka 版如何处理 云消息队列 Kafka 版消费
问答地址：
开发者社区 > 微服务 > 问答
相关问答
在Flink CDC中我的场景是把变更数据抽到Kafka进行实时计算，这种脏数据应该咋处理？
72
0
0
kafka磁盘满了会如何处理
273
1
0
Kafka如何处理分区的副本和分布？
67
1
0
flink kafka source在有ck的情况下，flink kafkasource会如何处理？
69
1
0
Flink CDC中sink如果异常了 ，如何处理？ 比如kafka宕机。数据会丢吗？
122
1
0
DataWorks离线同步数据写入kafka超时报脏数据怎么办？
362
1
0
E-MapReduce kafka分区使用不均衡如何处理
184
1
0
请问实时同步kafka 全是脏数据 并且只读不写 是什么原因？
354
1
0
有大佬知道这是怎么回事么 flink读不到kafka数据
1198
1
0
麻烦问一下，我们现在的架构是希望数据统一从 Kafka 中出，但是又想用 Flink CDC，请问
1108
1
0