请教大家一个问题: spark on yarn 内存溢出 除了增加driver内存以外还有什么好的解决方案吗?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

请教大家一个问题: spark on yarn 内存溢出 除了增加driver内存以外还有什么好的解决方案吗?

社区小助手 2019-05-16 14:26:08 1535

我现在一个清洗程序 从kafka读取消息 然后处理 然后写入kafka sink。 driver 给了它4G 还报内存溢出,我查了下内存溢出那时段的数据是比较少的。 一分钟最多100条。

消息中间件 分布式计算 资源调度 Kafka Spark
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:35:25

    driver处理数据?一般都是executor处理数据吧


    除非是collect把数据都收集起来,driver内存需要比较大,一般是 分布式处理 都是在executor上面的

    0 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题