Dataphin功能Tips系列(46)-实时研发任务在session调试和运行 时资源分配上的区别

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 实时研发任务在session调试和运行 时资源分配上的区别

一、场景

实时研发的开发同学小A 经常需要调试和开发实时任务,他提出了一个疑问:目前Dataphin上的实时研发任务 在session调试和运行时 分别占用的是哪个集群的资源,他们的区别是什么?

二、解决方案及功能

  1. session调试和运行分别占用哪个集群的资源:

【调试】使用session集群,占用的是Dataphin调度集群资源

【运行】占用外部Flink 集群源,具体根据 Flink集群部署模式不同

Flink集群部署模式:Flink on yarn,Flink vvp,Flink on k8s,前两者占用的是外部Flink集群的资源,Flink on k8s 占用的也是Dataphin调度集群资源,因为Flink on k8s的模式是部署在Dataphin调度集群上的

  1. session调试和运行在资源使用上的区别:

调试(session模式)

运行(per-job模式)

  • 使用的是session模式,在这个session集群上会预先启动一组固定的集群资源,包括 JobManager(JM) 和若干 TaskManager(TM)。这个 JobManager 被设置为常驻状态,持续监听新作业提交请求,当有新作业下发到session 集群时,JobManager 会评估当前资源队列(Dataphin叫资源组)内可用的 TM 资源,然后依据作业的资源需求说明(例如需要多少 CPU 、多少内存),将空闲的 TM 资源分配给新作业,让多个作业灵活共用这些资源
  • 使用的是per-job模式,作业下发到外部Flink 集群的资源队列时,会为每个作业单独启动一个JM,启动后的 JM,会依据作业的资源需求,去分配相应的TM
  • session 模式多个作业共用一个 JM和若干TM,意味着作业之间隔离性差,一旦某个作业出现故障,尤其是 JM 出现问题,可能波及整个集群里的所有作业;并且同一 TM 内任务如果没有严格隔离,还可能出现资源争抢、互相干扰的状况,但是在开发过程中,使用 Session 集群调试作业也有好处,因为它可以提高作业 JM(Job Manager)资源利用率
  • per-job 模式通过给作业配备专属 JM和TM,强化了作业间的资源隔离,更适合生产环境大型、长时间运行或对资源需求苛刻的场景使用
相关文章
|
4月前
|
测试技术 数据处理 调度
Dataphin功能Tips系列(57)「预览」vs「运行」:离线集成的神奇按钮
在数据开发过程中,使用Dataphin处理离线集成任务时,可能遇到数据过滤和字段计算组件配置正确性的验证问题。通过「预览」功能,可快速验证处理逻辑而不影响目标表;对于需要调度的任务,担心资源占用和耗时超出预期时,可使用「运行」功能进行全流程测试,评估实际耗时与资源消耗。「预览」适合逻辑验证,「运行」用于真实环境模拟,两者结合助力高效开发与调试。
115 5
|
4月前
|
SQL 数据采集
Dataphin功能Tips系列(56)如何实现质量规则的批量修改
本文介绍了在Dataphin中针对Dataphin表和全域数据表的自定义SQL规则的批量修改的方法。
126 4
|
4月前
|
供应链
Dataphin功能Tips系列(55)如何通过规则排序实现不同的自动上架效果
本文介绍了如何在Dataphin中配置自动上架规则以高效管理数据。
|
4月前
Dataphin功能Tips系列(54)如何将资产自动变更为暂不上架
在资产运营管理中,为避免某些表(如贴源表、中间表等)被自动上架,Dataphin 提供了“暂不上架”规则配置功能。通过创建规则组和规则,可精细化管理资产对象。
|
存储 数据采集 安全
瓴羊Dataphin数据安全能力再升级,内置分类分级模板、上线隐私计算模块
瓴羊Dataphin数据安全能力再升级,内置分类分级模板、上线隐私计算模块
376 0
|
8月前
|
安全 数据挖掘 大数据
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
Dataphin的技术架构与实践路径,涵盖多引擎兼容、混合云架构、统一资产消费等方面,Dataphin通过持续升级,帮助企业实现全生命周期的数据资产管理,助力企业在大模型时代更好地“建好数据”、“用好数据”。
462 87
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
|
6月前
|
数据采集 SQL 人工智能
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI技术的快速发展促使企业重新审视数据治理的重要性。当前,企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出,以数据标准为核心贯穿数据全生命周期,可有效解决治理难题。
360 15
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
|
8月前
|
数据采集 SQL 人工智能
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
数据标准是数据治理的核心抓手,通过梳理数据标准可以有效提升数据质量。瓴羊Dataphin平台利用AI技术简化数据治理流程,实现自动化的数据标准建立、质量规则构建和特征识别,助力企业在大模型时代高效治理数据,推动数据真正为业务服务。
745 28
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
|
9月前
|
数据采集 自然语言处理 供应链
央国企“严选”的瓴羊,如何让数据“供得出、流得动、用得好”?|【瓴羊Dataphin在信通院2024数据资产管理大会】
在产业变革新浪潮下,数据资产管理步入“繁花时代”,瓴羊高级解决方案专家黄彦之出席2024数据资产管理大会并分享了瓴羊基于12年阿里最佳数据实践,通过Dataphin等产品助力央国企数智化转型的路径与方法。大会发布《数据治理产业图谱3.0》,瓴羊Dataphin入选BUCM板块代表产品,彰显其领先经验。
405 18
|
9月前
|
数据采集 安全 大数据
“点数成金”时代,如何应用全域数据资产治理释放企业数据价值?【瓴羊Dataphin在信通院2024数据资产管理大会】
在“点数成金”时代,企业数据成为宝贵资产。12月18-19日,信通院“2024数据资产管理大会”在京举办,瓴羊政企金融事业部总监徐宁分享了Dataphin在数据治理领域的创新方法论与实践经验,强调数据资产双循环和元数据管理的重要性。瓴羊副总裁王赛获颁数据资产管理专家证书。
242 16

热门文章

最新文章