Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,1000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: Azkaban任务因内存不足持续运行,日志显示无法申请65536kb至270336kb内存。系统要求至少3GB内存,但当前executor节点内存低于此阈值。解决方案包括释放内存、增加内存或关闭内存检查(通过在`commonprivate.properties`设置`memCheck.enabled=false`)。

Azkaban 任务一直处于运行状态,日志显示如下:

12-04-2023 10:12:04 CST test INFO - Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and retry, attempt 1 of 720
12-04-2023 10:13:04 CST test INFO - Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and retry, attempt 2 of 720
12-04-2023 10:14:04 CST test INFO - Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and retry, attempt 3 of 720
12-04-2023 10:15:04 CST test INFO - Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and retry, attempt 4 of 720
12-04-2023 10:16:04 CST test INFO - Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and retry, attempt 5 of 720

这是由于 Azkaban 在执行任务时,检测到所有的 executor 节点内存都小于 3GB,其最低要求的内存是 3GB,导致其无法进行任务的分配,一直处于等待的过程。

解决方法:

  • 释放内存;

  • 增加内存;

  • 关闭检测内存的选项;
    • 编辑 $AZKABAN_HOME/azkaban-exec-server/plugins/jobtypes/ 目录下的commonprivate.properties 文件,在其中添加 memCheck.enabled=false 配置项。
相关文章
|
存储 缓存 编译器
【CMake 命令相关知识】深入理解 CMake命令中的 内置缓存变量
【CMake 命令相关知识】深入理解 CMake命令中的 内置缓存变量
345 0
|
5月前
|
人工智能 搜索推荐 API
API驱动电商个性化:用户行为分析接口
在电商领域,个性化体验至关重要。用户行为分析接口通过实时捕捉浏览、点击等行为,结合API技术实现个性化推荐与精准营销。本文详解其工作原理、实现方式及应用价值,助力电商平台提升用户体验与转化率。
162 0
|
Java Maven Docker
Docker部署可执行jar包
Docker部署可执行jar包
5825 0
|
9月前
|
Java Spring
Spring中事务失效的场景
因为Spring事务是基于代理来实现的,所以某个加了@Transactional的⽅法只有是被代理对象调⽤时, 那么这个注解才会⽣效 , 如果使用的是被代理对象调用, 那么@Transactional会失效 同时如果某个⽅法是private的,那么@Transactional也会失效,因为底层cglib是基于⽗⼦类来实现 的,⼦类是不能重载⽗类的private⽅法的,所以⽆法很好的利⽤代理,也会导致@Transactianal失效 如果在业务中对异常进行了捕获处理 , 出现异常后Spring框架无法感知到异常, @Transactional也会失效
|
传感器 搜索推荐 数据处理
智能织物:纺织品中的科技革新
【10月更文挑战第13天】智能织物通过融合传感器、微处理器和无线通信技术,赋予传统纺织品更多功能性和智能化属性,正从科幻走向现实。本文探讨其原理、类型及应用,如健康监测、运动辅助和环境适应等,并展望其未来发展趋势,包括多功能集成、可穿戴设备融合、环保可持续及个性化定制,引领纺织品领域的深刻变革。
|
存储 运维 监控
运维(24)-运维技能知识图谱
运维(24)-运维技能知识图谱
2167 1
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云瑶池在2024云栖大会上重磅发布由Data+AI驱动的多模数据管理平台DMS:OneMeta+OneOps,通过统一、开放、多模的元数据服务实现跨环境、跨引擎、跨实例的统一治理,可支持高达40+种数据源,实现自建、他云数据源的无缝对接,助力业务决策效率提升10倍。
|
Oracle Java 关系型数据库
jdk17安装全方位手把手安装教程 / 已有jdk8了,安装JDK17后如何配置环境变量 / 多个不同版本的JDK,如何配置环境变量?
本文提供了详细的JDK 17安装教程,包括下载、安装、配置环境变量的步骤,并解释了在已有其他版本JDK的情况下如何管理多个JDK环境。
22118 0
|
Ubuntu Linux 网络安全
SSH 远程登录报错:Permission denied, please try again. 解决办法
SSH 远程登录报错:Permission denied, please try again. 解决办法
5493 0
|
C语言
gcc静态编译/usr/bin/ld: cannot find -lc
gcc静态编译/usr/bin/ld: cannot find -lc