开发者社区> 问答> 正文

我使用spark thrift jdbc 已经在spark配置文件设置了

社区小助手 2019-03-18 16:06:08 390

我使用spark thrift jdbc 已经在spark配置文件设置了
--conf spark.kryoserializer.buffer=64m
--conf spark.kryoserializer.buffer.max=256m
为什么还报错???设置的没有生效
org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow. Available: 0, required: 132694147. To avoid this, increase spark.kryoserializer.buffer.max value.

at org.apache.spark.serializer.KryoSerializerInstance.serialize(KryoSerializer.scala:350)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:393)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)

Caused by: com.esotericsoftware.kryo.KryoException: Buffer overflow. Available: 0, required: 132694147

分享到
取消 提交回答
全部回答(1)
  • 明朔
    2019-07-17 23:31:10

    继续调大或者用java序列化试试

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题