备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了

大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了 问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。

展开
收起
黄一刀 2019-12-02 11:23:41 2438 0
1 条回答
写回答
取消 提交回答
  • 黄二刀

    可以设置保留个数 image.png

    2019-12-02 11:24:33
    赞同 展开评论 打赏
问答分类：
流计算 开发者 实时计算 Flink版
问答标签：
实时计算 Flink版检查 实时计算 Flink版hdfs文件 文件存储HDFS版文件 文件存储HDFS版flink 实时计算 Flink版文件
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关产品：
实时计算 Flink版

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
实时计算 Flink版
flink cdc写hdfs文件的时候，如果开启文件合并的话，最终的文件不能通过hive映射读取吗？
23
0
0
java flink + kafka,后端状态放hdfs后,每次重启服务,又从最早的消息开始消费问题
29
0
0
Flink写入OSS必须要开通oss-hdfs服务吗？
70
4
0
Flink CDC中Checkpoint 的清理策略一般是怎么设置的？
96
4
0
Flink独立集群与hdfs集群不在一起，flink如何配置checkpoint目录为hdfs？
13
1
0
flink cdc打印输出的文件太大有什么处理方法吗？
22
1
0
Flink 这种Flink状态，如果第一个key不过其，第二个key过期，数据会被清理吗？
22
1
0
Flink CDC能否实时监控HDFS上的文件变化？
27
1
0
在Flink CDC中，对于binlog文件名的校验的含义与必要性是什么？是否应该改为校验GTID?
19
0
0
Flink CDC里写数据到hdfs的hudi表，为什么看不到数据文件啊？
56
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关产品

  • 实时计算 Flink版
    文档详情 产品详情

    • 热门讨论

    热门文章

  • flinkcdc3.0整库同步mysql的数据到starrocks中全量能过去增量过不去怎么排查？
    253
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
    1520
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
    589
  • Flink-CDC 文档网站地址是什么？
    18066
  • 哪位大佬有遇到过Flink这个问题呢？同步pg的时候，是不是类冲突了，所以导致抓不到这个类？
    1249
  • 使用Flink CDC，生产环境要申请的服务器如何评估
    674
  • flink1.15启动后无法访问webui的问题有人遇到过吗
    9623
  • 请问flink-connector-jdbc在sink时，如何设置批量写入？
    2134
  • flink cdc，读取datetime类型，全都变成了时间戳，怎么解决？下游是可以解决。但是我想知
    663
  • "flink-cdc-connector-mysql，这个报错怎么解决的？
    1155
    • 展开全部
  • Flink+Paimon+Hologres 构建实时湖仓数据分析
    71350
  • 数据仓库介绍与实时数仓案例
    40009
  • 权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
    22037
  • OPPO数据中台之基石：基于Flink SQL构建实数据仓库
    20795
  • 实时计算 Flink SQL 核心功能解密
    18519
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
    21418
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
    15867
  • 为什么说流处理即未来？
    9784
  • 基于实时计算（Flink）打造一个简单的实时推荐系统
    13814
  • Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析
    17661
    • 展开全部

    相关课程

    更多
  • 大数据Flink实时旅游平台环境篇 2020版
    582
    29
    去学习
  • Apache Flink 入门到实战 - Flink开源社区出品
    1392
    16
    去学习
  • 实时计算 Flink 版产品入门与实操
    3806
    10
    去学习
  • 开源 Flink 极速上手教程
    1752
    7
    去学习
  • 大数据实时计算框架Spark快速入门
    778
    93
    去学习
  • Apache Flink 入门
    4826
    9
    去学习

    • 相关文章

  • 解释pom中的依赖dependency
  • MongoDB性能最佳实践：如何制定更有效的基准测试？
  • MongoDB观点：让生成式AI成为业务增长的新动能，游戏公司可以这样做
  • [AIGC] 21世纪Java与Go的相爱相杀

    • 相关电子书

    更多
    • Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关实验场景

    更多
  • Tair for Redis数据闪回：任意时间点数据恢复
    378
    1.0小时
    去实验
  • 使用PolarDB-X与Flink搭建实时数据大屏
    185
    1.0小时
    去实验
  • 使用Flink实时发现最热Github项目
    835
    1.0小时
    去实验
  • 5分钟上手Flink MySQL连接器
    220
    1.0小时
    去实验
  • 基于Flink+Tair搭建实时监控大屏
    35
    1.0小时
    去实验