开发者社区> 问答> 正文

如何修改EMR集群impala的JVM堆内存大小

已解决

如何修改EMR集群impala的JVM堆内存大小

展开
收起
提个问题 2024-08-15 10:02:23 60 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答

    问题描述:

    EMR-5.17.0版本以下的datalake集群,如何修改EMR集群impala的JVM堆内存大小

    解决方案:

    EMR集群版本低于EMR-5.17.0版本以下的datalake集群,没有透出参数IMPALA_JVM_OPTS

    需要按照如下方案修改:

    1、查看impala进程的堆内存大小

    执行ps -ef | grep impala命令,查看xxx/conf/catalogd.flgs catalogd对应的pid,然后执行:

    jmap -heap <pid>,如下参数就是当前impala的JVM堆内存大小

    MaxHeapSize = 1073741824 (1024.0MB)

    2、修改堆内存大小

    执行:vim /opt/apps/IMPALA/impala-current/bin/impala,打开impala的配置文件

    在这一行添加如下代码:

    export IMPALA_JVM_OPTS="-Xmx2g -Xms2g -Xloggc:/mnt/disk1/log/impala/impalagc-%t.log"

    然后wq保存

    3、使用命令行方式,重启impala服务,先停止再启动

    su impala

    /opt/apps/IMPALA/impala-current/bin/impala catalogd stop

    su impala

    /opt/apps/IMPALA/impala-current/bin/impala catalogd start

    4、管控台重启整个impala

    再次查看impala的jvm内存上限,配置没有被回滚,参数修改生效

    5、上述步骤需要在EMR集群中的所有节点上执行一遍,手动修改每个节点的impala堆内存上限大小

    2024-08-15 10:02:24
    赞同 6 展开评论 打赏
归属于问产品:
开源大数据平台 E-MapReduce
进入专区
问答排行榜
最热
最新

相关电子书

更多
EMR弹性低成本离线大数据分析最佳实践 立即下载
JVM的GC 立即下载
基于JVM的脚本语言开发、运用实践 立即下载