开发者社区> 问答> 正文

我使用spark thrift jdbc 已经在spark配置文件设置了

我使用spark thrift jdbc 已经在spark配置文件设置了
--conf spark.kryoserializer.buffer=64m
--conf spark.kryoserializer.buffer.max=256m
为什么还报错???设置的没有生效
org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow. Available: 0, required: 132694147. To avoid this, increase spark.kryoserializer.buffer.max value.

at org.apache.spark.serializer.KryoSerializerInstance.serialize(KryoSerializer.scala:350)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:393)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)

Caused by: com.esotericsoftware.kryo.KryoException: Buffer overflow. Available: 0, required: 132694147

展开
收起
社区小助手 2019-03-18 16:06:08 5051 0
1 条回答
写回答
取消 提交回答
  • 长期从事大数据系统与产品研发。

    继续调大或者用java序列化试试

    2019-07-17 23:31:10
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载