AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

针对 Flink 流式写 Hive 过程中的乱序数据处理可以采取哪两种手段？

已解决

针对 Flink 流式写 Hive 过程中的乱序数据处理可以采取哪两种手段？

展开
收起
游客lmkkns5ck6auu 2022-08-31 10:31:15 573 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客c3gxxcx6cqeyo
    推荐回答

    • 一是 Kafka 设置单分区，多分区是产生导致乱序的根因，通过避免多分区消除数据乱序。 • 二是报警补偿，乱序一旦产生流式任务是无法完全避免的 (可通过 watermark 设置乱序容忍时间，但终有一个界限)，那么只能通过报警做事后补偿。

    以上内容摘自《Apache Flink 案例集（2022版）》电子书，点击https://developer.aliyun.com/ebook/download/7718 可下载完整版

    2022-08-31 12:12:07
    赞同 展开评论
问答分类：
SQL 数据处理 HIVE 流计算 实时计算 Flink版
问答标签：
实时计算 Flink版数据处理 实时计算 Flink版hive 实时计算 Flink版流式 Hive数据处理 Hive采取
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
Flink流式数仓如何简化工商银行的数据链路？
78
1
0
字节跳动内部流批一体的推广应用情况如何，目前有多少Flink流式作业，其中SQL作业占比多少？
106
1
0
在处理流维表JOIN时，面对Hive大维表导致的OOM问题，采取了哪些优化措施？
129
2
0
为了保证Flink OLAP系统的稳定性，采取了哪些措施？
67
2
0
请教flink专家，同一个partition下的数据，如果分组键变化 是否会引发乱序 ？
177
9
0
Flink CDC里Oracle cdc使用流式还是logminer方式？
76
0
0
Flink CDC里同一条记录短时间i,d,u，cdc到kafka是有序的，之后乱序怎么解决？
183
2
0
Flink有优化cpu的手段呀？
142
1
0
Flink自动重启的task和手动启动job有啥差异么？有手段能让自动重启也达到手动重启的效果么？
233
2
0
Flink CDC里flink 在watemark内数据乱序，对数据使用event_time重新排？
144
2
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问
收录在圈子:
阿里云实时计算Flink
199212
+ 订阅
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。

相关文章

  • 零代码2小时搭建一套轻量级ERP系统
  • MyBatis常见工具解析
  • 从“字”到“画”：基于Elasticsearch Serverless 的多模态商品搜索实践
  • 【跨国数仓迁移最佳实践4】MaxCompute 企业级能力升级：跨域访问控制与数据安全特性增强
  • 规则引擎开发现在已经演化成算法引擎了

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink的1cu是指1cpu还是1cpu+4g存储？
  • 请问如何用flink sql客户端用yarn application模式提交任务呢？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • Flink-CDC 文档网站地址是什么？
  • 在斗鱼，实时计算发展的历程如何？
  • 2018spark技术问答集锦，希望能给喜欢spark的同学一些帮助
  • 请问flink-connector-jdbc在sink时，如何设置批量写入？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • Flink获取消费kafka的时候始终获取不到topic列表是啥原因啊？
    • 展开全部
  • 数据仓库介绍与实时数仓案例
  • 实时计算 Flink SQL 核心功能解密
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 阿里云实时计算产品案例&解决方案汇总
  • 流计算精品翻译: The Dataflow Model
  • Apache Flink 的迁移之路，2 年处理效果提升 5 倍
  • Flink Checkpoint 问题排查实用指南
  • 广告场景下的实时计算
  • Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析
  • 如何正确使用 Flink Connector？
    • 展开全部
    还有其他疑问?
    咨询AI助理