开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问Flinkcdc中我需要更新本地的RocksDB 版本吗?

问题1:请问Flinkcdc中 flink 1.17 使用 EmbeddedRocksDBStateBackend会报错
Could not load the native RocksDB library
但 1.16和1.14就不会报错,我需要更新本地的RocksDB 版本吗?
问题2:请问你用的jdk是什么版本,我现在用idea运行,1.16以下是没报错。

展开
收起
小易01 2023-07-19 18:47:49 117 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink CDC 中,如果您使用了 RocksDB 状态后端,需要根据您的 Flink 版本和 RocksDB 版本来决定是否需要更新本地的 RocksDB 版本。
    具体来说,Flink 版本和 RocksDB 版本之间的兼容关系如下表所示:
    Flink 版本 RocksDB 版本
    1.11.x 5.13.x
    1.12.x 5.13.x
    1.13.x 6.15.x
    1.14.x 6.20.x
    1.15.x 6.20.x
    如果您的 Flink 版本和 RocksDB 版本不兼容,则需要更新本地的 RocksDB 版本。在更新 RocksDB 版本之前,建议您备份 RocksDB 数据库,以免数据丢失。更新 RocksDB 版本的具体步骤如下:
    下载并安装新版本的 RocksDB。
    将原有的 RocksDB 数据库迁移到新版本的 RocksDB。可以使用 RocksDB 提供的命令行工具 db_convert 来完成迁移。例如,以下命令可以将旧版本的 RocksDB 数据库迁移到新版本:
    sh
    Copy
    ./db_convert --db= --new_db= --column_family= --to=rocksdb --threads=
    在上述命令中, 是旧版本的 RocksDB 数据库路径, 是新版本的 RocksDB 数据库路径, 是列族名称, 是迁移线程数。
    更新 Flink 的依赖项,以便 Flink 可以使用新版本的 RocksDB。您可以在 Flink 的 pom.xml 文件中更新 RocksDB 的版本号,然后重新编译和打包 Flink。

    2023-07-29 18:59:08
    赞同 展开评论 打赏
  • 意中人就是我呀!

    回答1:这是自带的,不需要你去单独部署 是不是java版本太旧了。最低要求8 除了版本系统是不是也升级了,目标平台不同也会导致这个问题,默认flink是x86的 不然就要自己在目标平台去构建了。
    回答2:我是 idea jdk11。debezium不支持17 很多都不支持17。此回答整理至钉群“Flink CDC 社区”。

    2023-07-19 23:37:48
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载