AI 助理
备案控制台
开发者社区 问答 正文

Flink HIve 文件，上游Kafak数据很大的时候，无法完成checkpoint

您好，Flink Hive 当上游的Kafka数据量特别大的时候，发现checkpoint一直无法完成，5分钟后报错了。请问这个问题要怎么解决

*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-02 16:00:01 445 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 彗星halation

    batch和数量小点

    *来自志愿者整理的FLINK邮件归档

    2021-12-02 16:20:36
    赞同 展开评论
问答分类：
SQL 消息中间件 Kafka HIVE 流计算 实时计算 Flink版 云消息队列 Kafka 版
问答标签：
实时计算 Flink版数据 实时计算 Flink版checkpoint 实时计算 Flink版文件 Hive数据 实时计算 Flink版hive
问答地址：
开发者社区 > 大数据 > 问答
相关问答
Flink这个错，如何定位到底是那个文件的问题呢?
105
5
0
Flink CDC要是这么短时间的ck，那这ck的文件我要是还要保留，会不会导致ck失败啊？
85
1
0
Flink CDC中sql-client的日志是应该修改哪个文件的日志级别？
112
1
0
Flink能解析BL文件吗
56
1
0
flink读取 hdfs的parquet文件时，有没有忽略损坏文件的配置？
163
1
0
在FlinkDepoyment的/opt/flink/conf中添加一些日志文件，我应该怎么做？
80
1
0
flink cdc paimon设置了file.format为parquet但生成的文件依然是orc
139
1
0
Flink CDC写文件的时候报错？
79
1
0
Flink在oss并没有生成文件是为什么？
83
1
0
在Flink CDC中flink会自动删除cp文件？
37
1
0