Flink 有人把checkpoint 放到 阿里云 nas 中没
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
Flink任务的Checkpoint默认是写入到E-MapReduce集群的HDFS中。但是,如果您希望将Checkpoint存储在阿里云NAS(网络附加存储)上,当前参考资料并未直接提及这一配置方式。通常,Flink支持可插拔的State Backend机制,允许用户自定义状态后端来存储Checkpoint数据,尽管这可能需要额外的开发或配置工作来适配特定的存储服务,例如NAS。
为了实现将Checkpoint存放到阿里云NAS或其他自定义存储系统中,您可能需要实现或采用一个兼容Flink State Backend接口的自定义存储解决方案。这通常涉及到对Flink作业的配置调整以及可能的代码定制,以确保Flink能够正确地与NAS进行交互并执行Checkpoint操作。
综上所述,虽然默认和推荐的Checkpoint存储位置是HDFS或OSS,技术上并不直接阻止您将Checkpoint存放于NAS,但这需要额外的技术实施和配置,并非开箱即用的功能。如果确实有此需求,建议深入研究Flink的State Backend扩展文档,或者考虑咨询专业的技术支持团队来评估和实现这一方案。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。