FLINk CDC 用本地的 rocksdb 做 state , IOPS消耗很高吗? 6800的IOPS还不够用,还需要每天额外付200多的磁盘性能突发费用 ?应该是我阿里云盘用错了 ,使用 ESSD AutoPL云盘 起步才6800 IOPS ,剩下的是弹性的 ,一块盘这个地方每天都画好几百 ,最普通的SSD都比他强很多倍,收费太贵了
一般来说,使用 RocksDB 做 State 会产生较高的 IOPS 消耗,但具体取决于您的数据量和应用需求。
首先,RocksDB 是一个高性能的 KV 存储引擎,可以满足大部分实时分析和机器学习场景的需求。但是,在高并发的情况下,RocksDB 的 IOPS 使用率可能会变得非常高,尤其是在写入密集型工作负载下。因此,如果您的工作负载要求很高的 IOPS 性能并且 CPU 使用率较高,那么可能会导致 IOPS 费用增加。
其次,根据您的描述,您目前使用的是 ESSD AutoPL 云盘,该盘采用弹性 IOPS 模型,可以根据实际需求动态调整 IOPS 性能。这意味着如果您需要更高的 IOPS 性能,将会产生额外费用。建议您使用 SSD 云盘来降低 IOPS 成本,并提高性能稳定性。如果可能的话,可以考虑更换更高性能和更低价格的 SSD 类型。
您好!RocksDB作为一个嵌入式数据库,其设计目标是在有限的存储空间内实现高性能的数据存储和处理。因此,它在随机读写方面表现出色,但在大量连续读写的场景下可能不是最佳选择。
对于Flink CDC这种需要大量顺序读写的场景,使用SSD硬盘可能会更加合适。SSD硬盘在读写速度和耐用性方面都优于传统的机械硬盘,而且价格也相对较低。
另外,您提到的ESSD AutoPL云盘可能更适合用于缓存或临时数据的存储,而不适合用于长期存储或大量数据的处理。在选择云盘类型时,除了考虑IOPS之外,还需要考虑存储容量、持久化级别等因素。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。