开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里rocksdb是不是 不支持存储到节点挂载的cifs存储上?

Flink CDC里rocksdb是不是 不支持存储到节点挂载的cifs存储上?

展开
收起
小小鹿鹿鹿 2024-02-01 17:50:43 26 0
1 条回答
写回答
取消 提交回答
  • Apache Flink的State Backend可以配置为使用RocksDB进行状态存储,而RocksDB本身并不直接限制存储位置,它可以将数据存储在本地文件系统上。但是,在部署环境中,是否能够将RocksDB的状态存储路径设置为挂载的CIFS(Common Internet File System)网络共享,主要取决于以下几个因素:

    1. 兼容性:虽然理论上RocksDB可以通过文件句柄操作远程文件系统上的数据,但CIFS共享的性能和兼容性可能会成为瓶颈,因为网络文件系统的延迟和带宽通常不如本地磁盘。

    2. 持久化保证:对于Flink的checkpoint和savepoint,要求存储系统提供强一致性,即在checkpoint完成之前,所有写入的状态必须是持久化的。CIFS网络文件系统需要支持这种级别的持久性,并且在出现网络故障时,能够保证数据的一致性和完整性。

    3. 权限与稳定性:确保Flink运行环境中的用户有足够的权限访问CIFS共享,并且网络连接稳定可靠,以避免由于网络问题导致的状态存储失败。

    4. 实践考量:在生产环境中,通常不推荐将RocksDB状态存储在远程或者网络文件系统上,因为这会显著增加I/O延迟,影响Flink作业的整体性能。对于大规模或高吞吐量的流处理作业来说,更倾向于使用本地SSD或者HDFS等分布式文件系统来存储状态信息。

    因此,尽管没有硬性规定说RocksDB不能用CIFS共享,但在实际应用中可能需要谨慎评估这样做的可行性与风险,并做好充分的测试验证。

    2024-02-11 12:24:07
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载