Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: Azkaban任务因内存不足持续运行,日志显示无法申请65536kb至270336kb内存。系统要求至少3GB内存,但当前executor节点内存低于此阈值。解决方案包括释放内存、增加内存或关闭内存检查(通过在`commonprivate.properties`设置`memCheck.enabled=false`)。

Azkaban 任务一直处于运行状态,日志显示如下:

12-04-2023 10:12:04 CST test INFO - Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and retry, attempt 1 of 720
12-04-2023 10:13:04 CST test INFO - Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and retry, attempt 2 of 720
12-04-2023 10:14:04 CST test INFO - Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and retry, attempt 3 of 720
12-04-2023 10:15:04 CST test INFO - Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and retry, attempt 4 of 720
12-04-2023 10:16:04 CST test INFO - Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and retry, attempt 5 of 720

这是由于 Azkaban 在执行任务时,检测到所有的 executor 节点内存都小于 3GB,其最低要求的内存是 3GB,导致其无法进行任务的分配,一直处于等待的过程。

解决方法:

  • 释放内存;

  • 增加内存;

  • 关闭检测内存的选项;
    • 编辑 $AZKABAN_HOME/azkaban-exec-server/plugins/jobtypes/ 目录下的commonprivate.properties 文件,在其中添加 memCheck.enabled=false 配置项。
相关文章
|
1月前
|
Java 编译器 iOS开发
8 种 Java 内存溢出之七 -Requested array size exceeds VM limit
8 种 Java 内存溢出之七 -Requested array size exceeds VM limit
|
11月前
|
Docker 容器
解决Native memory allocation (mmap) failed to map 2060255232 bytes for committing reserved memory.
解决Native memory allocation (mmap) failed to map 2060255232 bytes for committing reserved memory.
812 0
|
11月前
cpu info
cpu info
91 0
rac安装报错“ Checking swap space 0 MB available, 150 MB required. Failed”
rac安装报错“ Checking swap space 0 MB available, 150 MB required. Failed”
663 0
|
消息中间件 存储 传感器
RT-Thread记录(八、理解 RT-Thread 内存管理)
RT-Thread内核的我们已经基本都学习过了,除了基本的线程操作和通信, 内核部分还有内存管理和中断处理,本文主要就来说说内存管理相关问题。
254 0
RT-Thread记录(八、理解 RT-Thread 内存管理)
|
消息中间件 Java Kafka
Kafka Windows运行错误: Native memory allocation (mmap) failed to map 1073741824 bytes for Failed to comm
Kafka Windows运行错误: Native memory allocation (mmap) failed to map 1073741824 bytes for Failed to comm
637 0
Using 1 worker with 2048MB memory limit 异常
这里使用的是node 16版本,在家里电脑可以,但是公司电脑不行,不知道为啥 最后换了14版本,就可以了。
1881 0
Using 1 worker with 2048MB memory limit 异常
|
XML 算法 Java
XCMS | LC/MS and GC/MS Data Analysis
XCMS | LC/MS and GC/MS Data Analysis
725 0
XCMS | LC/MS and GC/MS Data Analysis
|
小程序
小程序Error: 系统错误,错误码:80200,main package source size 2590KB exceed max limit 2MB
小程序Error: 系统错误,错误码:80200,main package source size 2590KB exceed max limit 2MB
1329 0
小程序Error: 系统错误,错误码:80200,main package source size 2590KB exceed max limit 2MB