开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink的状态后端存储可以是阿里的OSS这些吗?

Flink的状态后端存储可以是阿里的OSS这些吗?

展开
收起
cuicuicuic 2023-10-22 22:16:01 70 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,Flink的状态后端存储可以是阿里云的OSS(对象存储服务)等云存储服务。Flink提供了多种状态后端存储,包括内存、硬盘、HDFS、Flink自己的state backend等,这些后端存储可以存储Flink任务的状态信息。此外,Flink还支持使用云存储服务作为状态后端存储,例如使用OSS存储状态信息。这样可以将状态信息存储在云端,方便管理和扩展。

    2023-10-23 13:43:42
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    按照官方的回复是不太互通的,通用仅Flink计算引擎VVR4.0.14及以上版本支持读取或写入OSS。仅支持读取或写入相同账号下的OSS。结果表独有对于写入OSS,目前暂不支持写Avro、CSV、JSON和Raw此类行存的格式,具体原因请参见FLINK-30635。仅Flink计算引擎VVR6.0.6及以上版本支持写入OSS-HDFS服务,具体请参见写OSS-HDFS。而后端存储是在希望协调内存资源和性能时,请使用内存配置,详情请参见内存配置。在遇到本地盘空间不足的问题时,使用存算分离配置,详情请参见存算分离配置。在遇到Join算子有性能瓶颈时,使用KV分离配置,详情请参见KV分离配置(详细文档介绍:https://help.aliyun.com/zh/flink/user-guide/configurations-of-geministatebackend?spm=a2c4g.11186623.0.i23#section-evj-ijs-sej)
    ---来自实时计算Flink版企业级状态后端存储配置文档

    2023-10-23 11:12:45
    赞同 展开评论 打赏
  • 是的,Flink的状态后端存储确实可以是阿里的OSS。首先,Flink提供了三种可用的状态后端:MemoryStateBackend、FsStateBackend和RocksDBStateBackend。其中,FsStateBackend允许你将状态后端存储在文件系统中。而阿里巴巴的OSS就是一个对象存储服务,非常适合作为文件系统的替代品。你可以在Flink的配置文件(如flink-conf.yaml)中设置相关参数,定义Checkpoint的存储方式和位置为OSS。这样,你就可以把Flink的状态后端存储在阿里的OSS上了。

    2023-10-23 11:00:12
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载