是的,Flink的状态后端存储可以是阿里云的OSS(对象存储服务)等云存储服务。Flink提供了多种状态后端存储,包括内存、硬盘、HDFS、Flink自己的state backend等,这些后端存储可以存储Flink任务的状态信息。此外,Flink还支持使用云存储服务作为状态后端存储,例如使用OSS存储状态信息。这样可以将状态信息存储在云端,方便管理和扩展。
按照官方的回复是不太互通的,通用仅Flink计算引擎VVR4.0.14及以上版本支持读取或写入OSS。仅支持读取或写入相同账号下的OSS。结果表独有对于写入OSS,目前暂不支持写Avro、CSV、JSON和Raw此类行存的格式,具体原因请参见FLINK-30635。仅Flink计算引擎VVR6.0.6及以上版本支持写入OSS-HDFS服务,具体请参见写OSS-HDFS。而后端存储是在希望协调内存资源和性能时,请使用内存配置,详情请参见内存配置。在遇到本地盘空间不足的问题时,使用存算分离配置,详情请参见存算分离配置。在遇到Join算子有性能瓶颈时,使用KV分离配置,详情请参见KV分离配置(详细文档介绍:https://help.aliyun.com/zh/flink/user-guide/configurations-of-geministatebackend?spm=a2c4g.11186623.0.i23#section-evj-ijs-sej)
---来自实时计算Flink版企业级状态后端存储配置文档
是的,Flink的状态后端存储确实可以是阿里的OSS。首先,Flink提供了三种可用的状态后端:MemoryStateBackend、FsStateBackend和RocksDBStateBackend。其中,FsStateBackend允许你将状态后端存储在文件系统中。而阿里巴巴的OSS就是一个对象存储服务,非常适合作为文件系统的替代品。你可以在Flink的配置文件(如flink-conf.yaml)中设置相关参数,定义Checkpoint的存储方式和位置为OSS。这样,你就可以把Flink的状态后端存储在阿里的OSS上了。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。