开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink关于类加载的,但是在我本地环境idea中能生效,有啥解决方案吗?

Flink关于类加载的,就是我使用了flink-sql-connector-kafka的依赖,但是我改了这个类,和任务在一个jar包里面,flink-sql-connector-kafka.jar和Flink的lib中的jar在hdfs上,Flink on yarn的方式提交作业,但是我改的这个类不生效(还是用的flink-sql-connector-kafka里面的类)classloader.resolve-order默认是child-first,意思是优先加载user code jar,但是在我本地环境idea中能生效,有啥解决方案吗?01eaebf99a827663455ae7a3e819c58e.png背景是Kafka连接需要配置ssl证书路径,只支持全路径,不支持加载jar包中的证书,我又不想在每个nodemanager上传一份这个证书,修改了源码支持从classpath(user-code-jar包)中加载证书,我想到的解决方案是在Flink源码项目中改flink-sql-connector-kafka模块中覆盖增加这个kafka-client的类,然后编译打包传到hdfs上覆盖官方的,有没有更方便的方式加载任务jar中的类

展开
收起
真的很搞笑 2023-09-05 17:02:24 71 0
1 条回答
写回答
取消 提交回答
  • 启动命令添加这个配置就可以了yarn.classpath.include-user-jar=FIRSTed400d1cd2ded53e09bec33b1c167bc7.png
    ,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-09-05 19:25:23
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载