Dataphin功能Tips系列(46)-实时研发任务在session调试和运行 时资源分配上的区别

简介: 实时研发任务在session调试和运行 时资源分配上的区别

一、场景

实时研发的开发同学小A 经常需要调试和开发实时任务,他提出了一个疑问:目前Dataphin上的实时研发任务 在session调试和运行时 分别占用的是哪个集群的资源,他们的区别是什么?

二、解决方案及功能

  1. session调试和运行分别占用哪个集群的资源:

【调试】使用session集群,占用的是Dataphin调度集群资源

【运行】占用外部Flink 集群源,具体根据 Flink集群部署模式不同

Flink集群部署模式:Flink on yarn,Flink vvp,Flink on k8s,前两者占用的是外部Flink集群的资源,Flink on k8s 占用的也是Dataphin调度集群资源,因为Flink on k8s的模式是部署在Dataphin调度集群上的

  1. session调试和运行在资源使用上的区别:

调试(session模式)

运行(per-job模式)

  • 使用的是session模式,在这个session集群上会预先启动一组固定的集群资源,包括 JobManager(JM) 和若干 TaskManager(TM)。这个 JobManager 被设置为常驻状态,持续监听新作业提交请求,当有新作业下发到session 集群时,JobManager 会评估当前资源队列(Dataphin叫资源组)内可用的 TM 资源,然后依据作业的资源需求说明(例如需要多少 CPU 、多少内存),将空闲的 TM 资源分配给新作业,让多个作业灵活共用这些资源
  • 使用的是per-job模式,作业下发到外部Flink 集群的资源队列时,会为每个作业单独启动一个JM,启动后的 JM,会依据作业的资源需求,去分配相应的TM
  • session 模式多个作业共用一个 JM和若干TM,意味着作业之间隔离性差,一旦某个作业出现故障,尤其是 JM 出现问题,可能波及整个集群里的所有作业;并且同一 TM 内任务如果没有严格隔离,还可能出现资源争抢、互相干扰的状况,但是在开发过程中,使用 Session 集群调试作业也有好处,因为它可以提高作业 JM(Job Manager)资源利用率
  • per-job 模式通过给作业配备专属 JM和TM,强化了作业间的资源隔离,更适合生产环境大型、长时间运行或对资源需求苛刻的场景使用
相关文章
|
10月前
|
机器人 数据中心
Dataphin功能Tips系列(79)精准获知标准更新动态,协同治理更高效
Dataphin支持数据标准变更订阅,可实时通过站内信、邮箱或钉群机器人通知相关人员,确保业务及时响应。用户可通过标准列表、个人中心等入口批量订阅,变更消息包含状态、版本及跳转链接,便于快速查看与处理。
304 8
|
10月前
|
数据采集 监控 调度
Dataphin功能Tips系列(76)质量规则调度配置系列(3)-定时调度
Dataphin「定时调度」功能支持按需设定数据质量检测时间与频率,适用于定期检查数据质量问题的场景。提供手动配置和系统推荐两种方式,可自动执行规则并生成报告,帮助用户高效发现并处理问题。
313 9
|
10月前
|
数据采集 运维 调度
Dataphin功能Tips系列(75)质量规则调度配置系列(2)-固定任务触发调度
Dataphin“固定任务触发调度”支持在任务成功或运行前触发质量规则校验。适用于表数据来源任务固定的场景,通过绑定强规则可阻断下游任务,防止脏数据扩散,提升数据质量管控能力。
553 9
|
10月前
|
数据管理
Dataphin功能Tips系列(78)自定义属性助力资产精细化管理
Dataphin V5.3升级自定义属性功能,支持多选、超链接及引用系统属性,实现资产“归口部门”与组织架构同步、指标看板一键跳转等场景,提升资产配置灵活性与管理效率。
269 8
|
10月前
Dataphin功能Tips系列(77)如何实现数据资产上下架的精准管控与高效流转
在企业数据治理中,Dataphin支持按资产范围灵活配置上下架审批流程。通过标签、项目等条件圈选资产,绑定自定义审批模板,实现核心资产精细管控与大规模资产高效流转的平衡,提升数据运营效率。
352 1
|
测试技术 数据处理 调度
Dataphin功能Tips系列(57)「预览」vs「运行」:离线集成的神奇按钮
在数据开发过程中,使用Dataphin处理离线集成任务时,可能遇到数据过滤和字段计算组件配置正确性的验证问题。通过「预览」功能,可快速验证处理逻辑而不影响目标表;对于需要调度的任务,担心资源占用和耗时超出预期时,可使用「运行」功能进行全流程测试,评估实际耗时与资源消耗。「预览」适合逻辑验证,「运行」用于真实环境模拟,两者结合助力高效开发与调试。
394 5
|
SQL Java 关系型数据库
Dataphin功能Tips系列(53)-离线集成任务如何合理配置JVM资源
本文探讨了将MySQL数据同步至Hive时出现OOM问题的解决方案。
470 5
|
SQL 数据采集
Dataphin功能Tips系列(56)如何实现质量规则的批量修改
本文介绍了在Dataphin中针对Dataphin表和全域数据表的自定义SQL规则的批量修改的方法。
398 4
|
弹性计算 调度
Dataphin功能Tips系列(52)-调度资源组弹性伸缩
Dataphin支持通过自定义资源组实现弹性资源调配:设置资源上下限,允许资源组间相互“借用”空闲资源。当开发环境任务暂停时,其未使用的资源可被生产环境借用,确保资源高效利用,同时保障各环境资源需求。配置时只需明确开发与生产环境的资源上下限,并关联对应项目任务即可实现动态调整。
339 1
|
12月前
|
BI 数据安全/隐私保护
Dataphin功能Tips系列(69)数据资产如何快捷对接Qucik BI进行分析消费
QuickBI与Dataphin集成,实现数据权限统一管理,简化用户从权限申请到仪表板创建的流程,提升数据消费效率,保障数据安全,加速数据价值转化。
450 8

热门文章

最新文章