开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

针对 Flink 流式写 Hive 过程中的乱序数据处理可以采取哪两种手段?

已解决

针对 Flink 流式写 Hive 过程中的乱序数据处理可以采取哪两种手段?

展开
收起
游客lmkkns5ck6auu 2022-08-31 10:31:15 526 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    • 一是 Kafka 设置单分区,多分区是产生导致乱序的根因,通过避免多分区消除数据乱序。 • 二是报警补偿,乱序一旦产生流式任务是无法完全避免的 (可通过 watermark 设置乱序容忍时间,但终有一个界限),那么只能通过报警做事后补偿。

    以上内容摘自《Apache Flink 案例集(2022版)》电子书,点击https://developer.aliyun.com/ebook/download/7718 可下载完整版

    2022-08-31 12:12:07
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载