Dataphin功能Tips系列(45)-session集群调试优化

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: session集群调试优化

一、场景

开发同学小A有大量的实时研发作业需要进行调试,最近发现调试很慢,可以怎么解决呢?

二、解决方案及功能

session 集群中,多个作业共享 JobManager(JM) 和 TaskManager(TM) 资源。当多个作业同时提交运行时,可能会出现资源竞争的情况。

  1. 增加session集群整体的资源

调大session集群对应的资源组的资源,并重新调整session集群中TM的数量,以及JM和TM分别占用的cpu、内存等资源量

  1. 优化该作业的资源分配

整体资源固定的情况下,可以调整分配给该作业的资源数量

  • 支持调整分配给该作业的TM数量,以及分配给JM和TM的 CPU、内存量,通过增加JM和TM的资源,加速作业的执行,但同时也会消耗更多资源
  • 同时,当某个作业配置的资源超出集群可调配的范围时,提交操作将会失败

目录
打赏
0
3
4
0
336
分享
相关文章
深度探索 Dataphin 数据中台的功能与表现
深度探索 Dataphin 数据中台的功能与表现
30 5
瓴羊Dataphin数据安全能力再升级,内置分类分级模板、上线隐私计算模块
瓴羊Dataphin数据安全能力再升级,内置分类分级模板、上线隐私计算模块
273 0
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
Dataphin的技术架构与实践路径,涵盖多引擎兼容、混合云架构、统一资产消费等方面,Dataphin通过持续升级,帮助企业实现全生命周期的数据资产管理,助力企业在大模型时代更好地“建好数据”、“用好数据”。
302 87
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI技术的快速发展促使企业重新审视数据治理的重要性。当前,企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出,以数据标准为核心贯穿数据全生命周期,可有效解决治理难题。
65 15
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
数据标准是数据治理的核心抓手,通过梳理数据标准可以有效提升数据质量。瓴羊Dataphin平台利用AI技术简化数据治理流程,实现自动化的数据标准建立、质量规则构建和特征识别,助力企业在大模型时代高效治理数据,推动数据真正为业务服务。
423 28
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期

热门文章

最新文章