下面这个报错 19/05/13 11:33:18 WARN MemoryStore: Not enough space to cache broadcast_7 in memory! (computed 272.0 MB so far) 19/05/13 11:33:18 WARN BlockManager: Persisting block broadcast_7 to disk instead. 除了增加driver memory方式解决,有别的办法吗?参数:20个partition,每个partit-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

下面这个报错 19/05/13 11:33:18 WARN MemoryStore: Not enough space to cache broadcast_7 in memory! (computed 272.0 MB so far) 19/05/13 11:33:18 WARN BlockManager: Persisting block broadcast_7 to disk instead. 除了增加driver memory方式解决,有别的办法吗?参数:20个partition,每个partit

2019-05-16 14:01:33 5742 1

主要是log里看起来是driver memory不够用,我尝试加executor 再试一下

取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:35:24

    你这是做广播的时候内存不足, 加driver内存并不管用吧, 你得加excuter内存。


    这是yarn的continer内存不够,给continer允许的内存加大 。你申请的时候给大点,提交的任务指定的execute的大小设置大点。


    设置5G后的保存内存信息,看 yarn 任务页面的 config 哪里能看到任务参数信息, 看看


    错误很明显了,提交任务的conf 内存设置不生效。


    这个就是缺内存,那块不够加那块。不想加就把 broadcast 的变量干掉


    driver影响的时候最后collect阶段聚合,collect阶段是否要在本地聚合,如果必须的话 可以考虑自己在任务最后写一个类或者函数单独处理,非必需 就直接在mr阶段处理掉。driver内存问题,如果能mr解决就并发解决,聚合也可以在任务处理完后 单独处理,这里是 driver内存无法增加的做法。条件允许直接加driver内存/使用--deploy cluster代替client

    0 0
相关问答

0

回答

mysql可以开启表级的binlog,可以开启列级别的吗

2022-08-11 17:59:34 117浏览量 回答数 0

1

回答

查mc外表报错The sensitive label of column 'xxx' is zz

2022-05-06 17:42:35 9419浏览量 回答数 1

1

回答

test errror2

2021-12-01 18:11:09 334浏览量 回答数 1

1

回答

mysql启动时报错:Starting MySQL... ERROR! The server qui

2021-10-20 20:25:11 313浏览量 回答数 1

1

回答

in的用法提问:select * from A,(select b1.id,b1?报错

2020-06-09 11:19:36 311浏览量 回答数 1

1

回答

MySQL 选择题 SELECT COUNT(SAL) FROM EMP GROUP BY DEPT

2019-12-23 20:26:26 3268浏览量 回答数 1

1

回答

Email has already been taken

2019-06-26 16:15:33 5781浏览量 回答数 1

0

回答

Explore Spark for Metagenome assembly

2018-07-29 00:47:00 646浏览量 回答数 0

2

回答

安装了sql server 2008后 找不到 sql server management studio

2016-06-29 13:44:11 6373浏览量 回答数 2

1

回答

mysql报错Error loading MySQLdb module: No module named MySQLdb

2016-02-10 13:15:34 3902浏览量 回答数 1
+关注
社区小助手
社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。
12
文章
824
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载