开发者社区> 问答> 正文

kafka.common.KafkaException:错误的请求类型18

我正在运行这段代码。streamingInputDF是Kafka主题的readStream。我正在运行spark 2.4.0和Kafka 0.10.2

val activityQuery = streamingInputDF.writeStream
.format("console")
.outputMode("append")
.start()
.awaitTermination()
只要在streamingInputDF上调用writeStream,我就会看到Kafka代理抛出此异常

[2018-11-24 21:46:42,842] ERROR Closing socket for /127.0.0.1 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18

at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:64)
at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
at kafka.network.Processor.read(SocketServer.scala:450)
at kafka.network.Processor.run(SocketServer.scala:340)
at java.lang.Thread.run(Thread.java:745)

展开
收起
社区小助手 2018-12-06 15:46:11 5587 0
1 条回答
写回答
取消 提交回答
  • 社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    你需要做的只是重新启动Kafka经纪人其他不改变。

    val activityQuery = streamingInputDF.writeStream
    .format("console")
    .outputMode("append")
    .start()
    .awaitTermination()

    2019-07-17 23:18:35
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载