各位大佬,请教一个问题。state.backend : filesystem 时, 使用 hdfs

各位大佬,请教一个问题。state.backend : filesystem 时, 使用 hdfs 和使用 rocksdb 该如何选择?

展开
收起
十一0204 2023-04-05 09:23:56 134 发布于江西 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    在Flink中,当使用state.backend: filesystem时,你可以选择使用HDFS或者RocksDB作为文件系统。选择哪种文件系统取决于你的具体需求和环境。下面是一些选择建议:

    如果你需要高可靠性和高可用性,建议使用HDFS作为文件系统。HDFS是一种分布式文件系统,具有高度的可靠性和可用性,可以在多个节点之间复制数据,从而提供数据冗余和容错能力。HDFS还具有良好的扩展性和性能,可以处理大规模数据集。
    
    如果你需要高性能和低延迟,建议使用RocksDB作为文件系统。RocksDB是一种高性能的键值存储引擎,具有低延迟和高吞吐量的特点,可以快速读写数据。RocksDB还具有可扩展性和可配置性,可以根据需要调整存储和缓存策略。
    

    总的来说,选择使用HDFS还是RocksDB作为文件系统,取决于你的具体需求和环境。如果你需要高可靠性和可用性,或者处理大规模数据集,建议使用HDFS;如果你需要高性能和低延迟,或者处理实时数据流,建议使用RocksDB。

    2023-04-14 22:30:20 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理