开发者社区> 问答> 正文

Flink 1.10读取kafka数据,打包jar,提交任务到集群运行测试,遇到问题

我在用Flink 1.10读取kafka数据,本地IDEA环境执行没有问题,将代码编译打包(不是fat jar)到集群上运行测试,执行提示:java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题。 我在Flink 1.10集群的每个节点下的 /lib下都添加了kafka依赖包:flink-connector-kafka_2.11-1.10.0.jar 我启动的命令: 我先启动了一个Yarn session: yarn-session.sh -yd -jm 2048m -tm 2048m -s 10 然后在session提交任务测试 flink run -d -p 2 -m yarn-cluster -c com.sdf.flink.streaming.BroadcastOrderJoinGoodsName -yid application_1585277813790_0006 ./flink-project_1.10.0-1.0.jar 启动就报如下错误:

/lib下的依赖包:

代码片段:

就是简单的读取数据,输出测试!*来自志愿者整理的FLINK邮件归档

展开
收起
玛丽莲梦嘉 2021-12-03 18:33:52 1331 0
1 条回答
写回答
取消 提交回答
  • 你应该还缺少flink-connector-elasticsearch-base_2.11-1.10.0.jar*来自志愿者整理的FLINK邮件归档

    2021-12-03 18:57:49
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载