开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我在集成celeborn的时候,使用kyuubi提交spark3.0版本的任务有的sql会有报错,1

我在集成celeborn的时候,使用kyuubi提交spark3.0版本的任务有的sql会有报错,100%复现,用命令行提交就没问题。

spark3.0.1 kyuubi1.7 celeborn0.3.1

提问6.jpg

展开
收起
云上静思 2023-10-17 13:06:55 60 0
1 条回答
写回答
取消 提交回答
  • Kyuubi 1.7 移除了 Spark 3.0 的支持,代码层面的兼容移除了。
    Kyuubi 用到的 API 里,3.0 有很多需要特殊处理。另外 x.0 一般来说不适合大规模应用,我们在 3.0 仅经历过非常短的实验,就迅速过渡到了 3.1

    回答1.png

    1.6.0 是标记 3.0.0 EOL
    https://github.com/apache/kyuubi/issues/2974

    1.7.0 里至少这个 PR 会直接破坏 3.0 的兼容
    https://github.com/apache/kyuubi/pull/4318

    此答案来自钉钉群“【2】Apache Flink China 社区”

    2023-10-17 20:49:11
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

相关电子书

更多
SQL Server在电子商务中的应用与实践 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载