开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

我现在在机器学习PAI的集群上提交了包含alink相关功能的flink任务,但是却报这样的错。

我现在在集群上提交了包含alink相关功能的flink任务,但是却报这样的错。ffdd5c87ba0f79a353929a4ed6105147.png我在idea上跑是没问题的,而且也去除了log4j相关的依赖。 有没有大佬碰见过这样的问题的?我服务器上的flink是用docker启的,和本地的flink版本都是1.9.0

展开
收起
乐天香橙派 2023-11-14 10:48:03 52 0
2 条回答
写回答
取消 提交回答
  • 这个错误是由于Flink在运行时遇到了类型转换异常。具体来说,akka.event.LoggingFilter接口不能从akka.event.slf4j.slf4jLoggingFilter类分配。为了解决这个问题,你可以尝试以下方法:

    1. 确保你的项目中包含了正确的依赖库。检查你的pom.xmlbuild.gradle文件,确保已经添加了Akka和SLF4J的相关依赖。

    2. 如果你使用的是Maven,可以尝试在pom.xml文件中添加以下依赖:

    <dependency>
        <groupId>com.typesafe.akka</groupId>
        <artifactId>akka-actor_2.12</artifactId>
        <version>2.5.23</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-api</artifactId>
        <version>1.7.30</version>
    </dependency>
    
    1. 如果你使用的是Gradle,可以尝试在build.gradle文件中添加以下依赖:
    implementation 'com.typesafe.akka:akka-actor_2.12:2.5.23'
    implementation 'org.slf4j:slf4j-api:1.7.30'
    
    1. 如果问题仍然存在,尝试清理并重新构建项目。在命令行中执行以下命令:
    mvn clean install
    

    或者对于Gradle项目:

    gradle clean build
    
    2023-11-30 13:47:59
    赞同 展开评论 打赏
  • slf4j没引好吧,看看FLINK平台里引的JAR包和版本和本地不一样的地方。FLINK平台里有原始自带的JAR 包。和你打包的又不一样。flink平台里的自带的其他jar包,不是flink jar 包 https://github.com/alibaba/Alink/blob/master/docs/deploy/cluster-deploy.md 把shade后的包放进lib目录,然后配置上classloader.resolve-order: parent-first,然后提交的时候把shipjars这个选项关了,应该就可以了——此回答来自钉群”Alink开源--用户群“

    2023-11-14 11:33:46
    赞同 展开评论 打赏

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    阿里巴巴机器学习平台AI 立即下载
    微博机器学习平台架构和实践 立即下载