开发者社区> 问答> 正文

(Linux AMI)EMR Cluster版本的`free`命令

社区小助手 2019-01-02 15:09:08 387

free`命令
(Linux AMI)EMR Cluster版本
(Linux AMI)EMR Cluster版本的free命令
当我从AWS Linux AMI启动pyspark时,我正试图分配内存来激发 - 也就是说,当我调用pyspark时,将精确的参数传递给driver-memory和executor-memory参数。

据我所知,我可以在Instance Types页面上查看我在每个EMR集群实例上有多少内存的现成答案?但是我想知道我是否可以从aws cli本身做到这一点(“现场”),所以我可以看到在我的自举旋转过程之后我实际上有多少工作。

我也知道freeLinux 中的命令,但这似乎只给了我ssh'd主节点的空闲内存。我也知道YARN UI和Hadoop API,但在这种情况下,我想从命令行检查,如果可能的话。

分布式计算 资源调度 Hadoop Linux 网络安全 API
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:24:24

    您正在寻找有关群集内存使用情况的信息将在纱线管理器中提供。

    Yarn top
    Yarn Manger提供有关节点和使用的内存以及可用内存的信息。跟踪所有应用程序。

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题