Dataphin功能Tips系列(46)-实时研发任务在session调试和运行 时资源分配上的区别

简介: 实时研发任务在session调试和运行 时资源分配上的区别

一、场景

实时研发的开发同学小A 经常需要调试和开发实时任务,他提出了一个疑问:目前Dataphin上的实时研发任务 在session调试和运行时 分别占用的是哪个集群的资源,他们的区别是什么?

二、解决方案及功能

  1. session调试和运行分别占用哪个集群的资源:

【调试】使用session集群,占用的是Dataphin调度集群资源

【运行】占用外部Flink 集群源,具体根据 Flink集群部署模式不同

Flink集群部署模式:Flink on yarn,Flink vvp,Flink on k8s,前两者占用的是外部Flink集群的资源,Flink on k8s 占用的也是Dataphin调度集群资源,因为Flink on k8s的模式是部署在Dataphin调度集群上的

  1. session调试和运行在资源使用上的区别:

调试(session模式)

运行(per-job模式)

  • 使用的是session模式,在这个session集群上会预先启动一组固定的集群资源,包括 JobManager(JM) 和若干 TaskManager(TM)。这个 JobManager 被设置为常驻状态,持续监听新作业提交请求,当有新作业下发到session 集群时,JobManager 会评估当前资源队列(Dataphin叫资源组)内可用的 TM 资源,然后依据作业的资源需求说明(例如需要多少 CPU 、多少内存),将空闲的 TM 资源分配给新作业,让多个作业灵活共用这些资源
  • 使用的是per-job模式,作业下发到外部Flink 集群的资源队列时,会为每个作业单独启动一个JM,启动后的 JM,会依据作业的资源需求,去分配相应的TM
  • session 模式多个作业共用一个 JM和若干TM,意味着作业之间隔离性差,一旦某个作业出现故障,尤其是 JM 出现问题,可能波及整个集群里的所有作业;并且同一 TM 内任务如果没有严格隔离,还可能出现资源争抢、互相干扰的状况,但是在开发过程中,使用 Session 集群调试作业也有好处,因为它可以提高作业 JM(Job Manager)资源利用率
  • per-job 模式通过给作业配备专属 JM和TM,强化了作业间的资源隔离,更适合生产环境大型、长时间运行或对资源需求苛刻的场景使用
相关文章
|
4月前
|
数据采集 SQL 数据可视化
Dataphin功能Tips系列(72)一键数据探查,打造高质量数据开发、分析流程
Dataphin数据探查功能助力高效识别数据质量问题,支持手动与自动两种探查模式。通过一键生成质量报告,快速检测空值、异常值、重复值等问题,全面掌握数据分布与健康状况,提升数据准备与分析准确性。
314 7
|
4月前
|
机器人 数据中心
Dataphin功能Tips系列(79)精准获知标准更新动态,协同治理更高效
Dataphin支持数据标准变更订阅,可实时通过站内信、邮箱或钉群机器人通知相关人员,确保业务及时响应。用户可通过标准列表、个人中心等入口批量订阅,变更消息包含状态、版本及跳转链接,便于快速查看与处理。
187 8
|
4月前
|
数据采集 监控 调度
Dataphin功能Tips系列(76)质量规则调度配置系列(3)-定时调度
Dataphin「定时调度」功能支持按需设定数据质量检测时间与频率,适用于定期检查数据质量问题的场景。提供手动配置和系统推荐两种方式,可自动执行规则并生成报告,帮助用户高效发现并处理问题。
173 9
|
4月前
|
数据采集 运维 调度
Dataphin功能Tips系列(75)质量规则调度配置系列(2)-固定任务触发调度
Dataphin“固定任务触发调度”支持在任务成功或运行前触发质量规则校验。适用于表数据来源任务固定的场景,通过绑定强规则可阻断下游任务,防止脏数据扩散,提升数据质量管控能力。
210 9
|
4月前
|
数据管理
Dataphin功能Tips系列(78)自定义属性助力资产精细化管理
Dataphin V5.3升级自定义属性功能,支持多选、超链接及引用系统属性,实现资产“归口部门”与组织架构同步、指标看板一键跳转等场景,提升资产配置灵活性与管理效率。
164 8
|
4月前
|
数据采集 调度
Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度
Dataphin通过“数据更新触发调度”功能,结合强规则校验,可在订单表数据更新时自动触发质量检查,异常时阻断下游任务,有效防止脏数据扩散,保障关键业务链路的数据准确性与稳定性。
202 8
|
4月前
|
安全 数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限通过“控制字段”实现精细化数据管控,有效避免传统字段权限过度开放带来的安全风险,提升权限管理效率与灵活性,满足复杂场景下的数据安全需求。
229 4
|
4月前
Dataphin功能Tips系列(77)如何实现数据资产上下架的精准管控与高效流转
在企业数据治理中,Dataphin支持按资产范围灵活配置上下架审批流程。通过标签、项目等条件圈选资产,绑定自定义审批模板,实现核心资产精细管控与大规模资产高效流转的平衡,提升数据运营效率。
173 1
|
5月前
|
数据采集 调度
Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度
在数据生产中,数据质量直接影响业务准确性。Dataphin 提供“数据更新触发调度”功能,结合强规则校验,可在数据更新时自动检测质量,异常时阻断下游任务,防止脏数据扩散,保障数据准确性与流程稳定。
123 0

热门文章

最新文章