开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

针对 Flink 流式写 Hive 过程中的乱序数据处理可以采取哪两种手段?

已解决

针对 Flink 流式写 Hive 过程中的乱序数据处理可以采取哪两种手段?

展开
收起
游客lmkkns5ck6auu 2022-08-31 10:31:15 503 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    • 一是 Kafka 设置单分区,多分区是产生导致乱序的根因,通过避免多分区消除数据乱序。 • 二是报警补偿,乱序一旦产生流式任务是无法完全避免的 (可通过 watermark 设置乱序容忍时间,但终有一个界限),那么只能通过报警做事后补偿。

    以上内容摘自《Apache Flink 案例集(2022版)》电子书,点击https://developer.aliyun.com/ebook/download/7718 可下载完整版

    2022-08-31 12:12:07
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Hive Bucketing in Apache Spark 立即下载
    spark替代HIVE实现ETL作业 立即下载
    2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载