开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink每次重启都会生成一个新的目录,有什么配置可以让我直接用上一次的目录吗?

Flink每次重启都会生成一个新的目录,有什么配置可以让我直接用上一次的目录吗?image.png

展开
收起
真的很搞笑 2023-10-04 07:37:58 100 0
1 条回答
写回答
取消 提交回答
  • Flink每次重启都会生成一个新的目录,是因为Flink默认使用了一个临时目录来存储日志、检查点、保存点等数据。如果你想让Flink直接使用上一次的目录,你可以修改Flink的配置文件,指定一个固定的目录来存储这些数据。具体的步骤如下:

    • 在Flink的安装目录下,找到conf文件夹,打开flink-conf.yaml文件。
    • 在文件中,找到env.java.opts参数,将其注释掉或删除。这个参数是用于设置Flink使用的临时目录的。
    • 在文件中,添加或修改以下几个参数,指定一个固定的目录来存储日志、检查点、保存点等数据:
    # 日志目录
    env.log.dir: /path/to/log/dir
    # 检查点目录
    state.checkpoints.dir: file:///path/to/checkpoint/dir
    # 保存点目录
    state.savepoints.dir: file:///path/to/savepoint/dir
    # 历史服务器归档目录
    historyserver.archive.fs.dir: file:///path/to/archive/dir
    
    • 保存并关闭文件,重启Flink集群。
    2023-10-16 17:10:24
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载