Dataphin功能Tips系列(46)-实时研发任务在session调试和运行 时资源分配上的区别

简介: 实时研发任务在session调试和运行 时资源分配上的区别

一、场景

实时研发的开发同学小A 经常需要调试和开发实时任务,他提出了一个疑问:目前Dataphin上的实时研发任务 在session调试和运行时 分别占用的是哪个集群的资源,他们的区别是什么?

二、解决方案及功能

  1. session调试和运行分别占用哪个集群的资源:

【调试】使用session集群,占用的是Dataphin调度集群资源

【运行】占用外部Flink 集群源,具体根据 Flink集群部署模式不同

Flink集群部署模式:Flink on yarn,Flink vvp,Flink on k8s,前两者占用的是外部Flink集群的资源,Flink on k8s 占用的也是Dataphin调度集群资源,因为Flink on k8s的模式是部署在Dataphin调度集群上的

  1. session调试和运行在资源使用上的区别:

调试(session模式)

运行(per-job模式)

  • 使用的是session模式,在这个session集群上会预先启动一组固定的集群资源,包括 JobManager(JM) 和若干 TaskManager(TM)。这个 JobManager 被设置为常驻状态,持续监听新作业提交请求,当有新作业下发到session 集群时,JobManager 会评估当前资源队列(Dataphin叫资源组)内可用的 TM 资源,然后依据作业的资源需求说明(例如需要多少 CPU 、多少内存),将空闲的 TM 资源分配给新作业,让多个作业灵活共用这些资源
  • 使用的是per-job模式,作业下发到外部Flink 集群的资源队列时,会为每个作业单独启动一个JM,启动后的 JM,会依据作业的资源需求,去分配相应的TM
  • session 模式多个作业共用一个 JM和若干TM,意味着作业之间隔离性差,一旦某个作业出现故障,尤其是 JM 出现问题,可能波及整个集群里的所有作业;并且同一 TM 内任务如果没有严格隔离,还可能出现资源争抢、互相干扰的状况,但是在开发过程中,使用 Session 集群调试作业也有好处,因为它可以提高作业 JM(Job Manager)资源利用率
  • per-job 模式通过给作业配备专属 JM和TM,强化了作业间的资源隔离,更适合生产环境大型、长时间运行或对资源需求苛刻的场景使用
相关文章
|
5月前
|
机器人 数据中心
Dataphin功能Tips系列(79)精准获知标准更新动态,协同治理更高效
Dataphin支持数据标准变更订阅,可实时通过站内信、邮箱或钉群机器人通知相关人员,确保业务及时响应。用户可通过标准列表、个人中心等入口批量订阅,变更消息包含状态、版本及跳转链接,便于快速查看与处理。
202 8
|
5月前
|
数据采集 监控 调度
Dataphin功能Tips系列(76)质量规则调度配置系列(3)-定时调度
Dataphin「定时调度」功能支持按需设定数据质量检测时间与频率,适用于定期检查数据质量问题的场景。提供手动配置和系统推荐两种方式,可自动执行规则并生成报告,帮助用户高效发现并处理问题。
195 9
|
5月前
|
数据采集 运维 调度
Dataphin功能Tips系列(75)质量规则调度配置系列(2)-固定任务触发调度
Dataphin“固定任务触发调度”支持在任务成功或运行前触发质量规则校验。适用于表数据来源任务固定的场景,通过绑定强规则可阻断下游任务,防止脏数据扩散,提升数据质量管控能力。
278 9
|
5月前
|
数据管理
Dataphin功能Tips系列(78)自定义属性助力资产精细化管理
Dataphin V5.3升级自定义属性功能,支持多选、超链接及引用系统属性,实现资产“归口部门”与组织架构同步、指标看板一键跳转等场景,提升资产配置灵活性与管理效率。
181 8
|
5月前
|
数据采集 调度
Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度
Dataphin通过“数据更新触发调度”功能,结合强规则校验,可在订单表数据更新时自动触发质量检查,异常时阻断下游任务,有效防止脏数据扩散,保障关键业务链路的数据准确性与稳定性。
215 8
|
5月前
|
安全 数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限通过“控制字段”实现精细化数据管控,有效避免传统字段权限过度开放带来的安全风险,提升权限管理效率与灵活性,满足复杂场景下的数据安全需求。
244 4
|
5月前
Dataphin功能Tips系列(77)如何实现数据资产上下架的精准管控与高效流转
在企业数据治理中,Dataphin支持按资产范围灵活配置上下架审批流程。通过标签、项目等条件圈选资产,绑定自定义审批模板,实现核心资产精细管控与大规模资产高效流转的平衡,提升数据运营效率。
202 1
|
10月前
|
测试技术 数据处理 调度
Dataphin功能Tips系列(57)「预览」vs「运行」:离线集成的神奇按钮
在数据开发过程中,使用Dataphin处理离线集成任务时,可能遇到数据过滤和字段计算组件配置正确性的验证问题。通过「预览」功能,可快速验证处理逻辑而不影响目标表;对于需要调度的任务,担心资源占用和耗时超出预期时,可使用「运行」功能进行全流程测试,评估实际耗时与资源消耗。「预览」适合逻辑验证,「运行」用于真实环境模拟,两者结合助力高效开发与调试。
272 5
|
10月前
|
SQL Java 关系型数据库
Dataphin功能Tips系列(53)-离线集成任务如何合理配置JVM资源
本文探讨了将MySQL数据同步至Hive时出现OOM问题的解决方案。
268 5
|
10月前
|
SQL 数据采集
Dataphin功能Tips系列(56)如何实现质量规则的批量修改
本文介绍了在Dataphin中针对Dataphin表和全域数据表的自定义SQL规则的批量修改的方法。
277 4

热门文章

最新文章