Mem usage has exceed the limit of BE - com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Memory of process exceed limit starrock 在 datawork 上抽数据的时候内存不够,这个参数要怎么调整?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks上使用StarRocks抽取数据时遇到内存超限问题,您可以通过调整相关配置参数来解决这个问题。根据您的情况,可以参考以下步骤进行调整:
定位配置入口: 首先,登录阿里云E-MapReduce控制台,找到目标的StarRocks集群服务页面。在该页面中,进入STARROCKS服务的配置界面,并选择be.conf
页签。
调整exec_mem_limit参数: 在be.conf
配置页签中,您需要新增或修改与内存管理相关的参数。具体来说,为了应对查询过程中内存不足的问题,您可以调整exec_mem_limit
这个参数。这个参数限制了单个查询任务可使用的最大内存。请根据您的实际硬件资源和业务需求,合理设定一个更高的值以避免内存溢出错误。
考虑其他内存管理参数: 除了直接调整exec_mem_limit
外,还应综合考虑其他内存管理参数,比如整体的内存分配策略等,确保整个系统内存使用均衡且高效。这可能包括但不限于调整BE节点的整体内存分配比例等高级设置。
操作注意事项:
通过上述步骤,您可以有效提升StarRocks在处理大数据抽取作业时的内存上限,从而解决因内存不足导致的数据抽取失败问题。
请注意,具体的配置数值需要根据您的服务器硬件配置、并发查询需求及日常数据处理量来决定,务必谨慎操作以维持系统稳定运行。您可以复制页面截图提供更多信息,我可以进一步帮您分析问题原因。
阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。