flink的historyserver可以使用本地文件系统吗?我们没有搭hadoop集群
是的,Flink的HistoryServer可以使用本地文件系统。默认情况下,Flink的HistoryServer会将历史作业的日志和状态信息存储在本地文件系统中。
如果您没有搭建Hadoop集群,可以在Flink配置文件中设置historyserver.archive.fs参数,将其指定为本地文件系统路径。例如,可以在flink-conf.yaml文件中添加以下配置:
historyserver.archive.fs: file:///path/to/local/directory
其中,/path/to/local/directory是本地文件系统中的目录路径。
需要注意的是,使用本地文件系统存储历史作业的日志和状态信息可能会存在一些限制,例如存储空间有限、数据备份不方便等。如果您需要更好的可靠性和可扩展性,建议您搭建Hadoop集群,并将历史作
写file就行,job要写东西到dfs。 此答案整理自钉群“【③群】Apache Flink China社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。