阿里云E-MapReduce clickhouse消费kafka的数据 kafka发生重启 ？
阿里云E-MapReduce clickhouse消费kafka的数据 kafka发生重启 clickhouse消费可能丢数据 有啥参数可以配置? 各位大神有遇到吗
展开
收起
1
条回答
写回答
写回答
-
阿里云 E-MapReduce 的 ClickHouse 通过 Kafka 消费数据时，如果 Kafka 发生重启，可能会导致 ClickHouse 无法继续消费数据。以下是两种解决方法：
使用 Kafka 的副本机制。当 Kafka 发生重启时，副本可以继续提供数据服务，这样 ClickHouse 就可以继续消费数据。
在 ClickHouse 中配置 KafkaConsumer.auto.offset.reset 参数为 earliest。这样，ClickHouse 会自动从 Kafka 最早的 offset 开始消费数据，不会因为 Kafka 重启而丢失数据。
希望以上内容对您有所帮助。2023-09-28 10:55:36赞同 展开评论 打赏
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
AI生成海报or人工手绘，哪个更戳你？
802
FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？
1688
flink1.20.0 部署后发布报错，是怎么回事，各种配置都配置了
297
请问Flink 写数据到 ES 有遇到过这个报错的么？
670
在建行，数据通常来源于哪些？
541
dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？
2729
请教一下DataWorks，doris和starRocks 选型，选哪个？
1513
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
3618
数据来源：com.alibaba.fastjson.JSONException: syntax er
5659
DataWorks我该如何访问A项目安装了项目的package资源？
2011
展开全部
