开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink这个可以配置本地路径么 ?

historyserver.archive.fs.dir Flink这个可以配置本地路径么 ?

展开
收起
三分钟热度的鱼 2023-11-22 18:44:05 192 0
2 条回答
写回答
取消 提交回答
  • Flink可以配置本地路径。具体来说,您需要修改flink-conf.yaml文件中的参数。例如,如果您想要配置Flink作业运行完成后的日志存放目录,可以将该参数设置为您的本地路径。此外,HistoryServer可以配置为监视逗号分隔的目录列表,使用historyserver.archive.fs.dir进行配置。配置的目录会定期轮询新的归档,而轮询间隔可以通过historyserver.archive.fs.refresh-interval进行配置。确保在修改配置文件后重启Flink服务以使更改生效。

    2023-11-28 11:52:57
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink History Server 的说明,“historyserver.archive.fs.dir”参数可以用来指定由 JobManager 归档的作业信息所存放的目录,通常是 HDFS 上的路径,但它也支持本地文件系统的路径作为存储路径。
    如果你希望将历史数据保存到本地磁盘,只需在 Flink 配置文件中将 “historyserver.archive.fs.dir” 设置为你想要存储的本地路径即可。例如:

    historyserver.archive.fs.dir: file:///path/to/local/directory/
    

    请注意,这种方法只适合小型数据集,因为本地磁盘的空间相对有限,并且难以实现多机共享。因此在大规模环境下不推荐使用本地路径作为历史数据存储位置。

    2023-11-22 22:41:01
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载