开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

消费同样的kafka中的数据,一个往mysql写就可以,一个往hive里面写就没有数据咋回事

消费同样的kafka中的数据,一个往mysql写就可以,一个往hive里面写就没有数据咋回事 bdb46f0cb0a3f7e783c50f4c17f9139d.png

展开
收起
爱喝咖啡嘿 2023-01-03 16:09:11 189 0
1 条回答
写回答
取消 提交回答
  • 原因:

    同一个 Kafka 主题上的不同消费者可以接收相同的数据,但前提是满足以下条件:

    消费者订阅了相同的主题。
    消费者属于不同的消费者组。
    如果您有一个消费者可以从 Kafka 主题读取数据并将其写入 MySQL,而另一个消费者无法将数据写入 Hive,则可能出现以下情况:

    消费者组不同:两个消费者可能属于不同的消费者组。在这种情况下,将数据写入 MySQL 的消费者将接收所有分区的数据,而将数据写入 Hive 的消费者将接收不到任何数据。
    主题分区分配不均:如果您使用的是 Kafka 0.11 或更高版本,则消费者组中的消费者将被动态分配到主题分区。如果将数据写入 Hive 的消费者分配到的分区没有数据,则该消费者将接收不到任何数据。

    2024-02-26 16:54:17
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载

相关镜像