游客kflzewkm76uni_个人页

个人头像照片 游客kflzewkm76uni
0
1
0

个人介绍

暂无个人介绍

擅长的技术

获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
暂无更多信息
正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2019-07-17

    Apache Flink:Python流API中的Kafka连接器,“无法加载用户类”

    应该是集群环境的问题,你的代码里虽然把jar加到了classpath,但是只在driver上被执行了,job提交到别的node的taskmanager上时,会把对象反序列化出来,这个时候就找不到类了。我临时解决方案就是修改pyflink-stream.sh文件, 需要保证每个node上都有这些对应位置的jar存在。

    
    /opt/apps/flink/flink run --classpath file:///opt/apps/flink/kafka/flink-connector-kafka-0.10_2.11-1.8.0.jar --classpath file:///opt/apps/flink/kafka/flink-connector-kafka-0.9_2.11-1.8.0.jar --classpath file:///opt/apps/flink/kafka/flink-connector-kafka-base_2.11-1.8.0.jar --classpath file:///opt/apps/flink/kafka/snappy-java-1.1.2.6.jar --classpath file:///opt/apps/flink/kafka/force-shading-1.8.0.jar --classpath file:///opt/apps/flink/kafka/kafka-clients-0.10.2.1.jar --classpath file:///opt/apps/flink/kafka/lz4-1.3.0.jar --class org.apache.flink.streaming.python.api.PythonStreamBinder -v /opt/apps/flink/opt/flink-streaming-python*.jar "$@"
    

    有些变量被我写死了,可以恢复回去。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息