背景
部分企业已在自有 Kubernetes 环境中构建了成熟的 Flink 实时计算任务体系,沉淀了经过长期验证的业务镜像和运行配置。当企业希望通过 Dataphin 实现实时任务的统一开发、调度与治理时,面临核心痛点:若将存量任务迁移至平台标准镜像,不仅迁移成本高、周期长,还存在环境适配风险和业务稳定性隐患。
具体而言,企业在任务迁移与平台整合过程中常遭遇以下挑战:
- 迁移成本高昂:存量 Flink 任务数量庞大,若需逐个改造适配平台标准镜像,投入的人力与时间成本难以承受;
- 环境适配风险:业务镜像中预装了特定的依赖库、配置文件等,迁移过程中易出现环境不兼容、任务运行异常等问题;
- 业务连续性保障难:镜像替换可能引入不可预期的运行时差异,影响线上业务的稳定性,企业不敢轻易变动;
- 统一管控诉求强:企业希望保留自有镜像的同时,通过 Dataphin 实现任务的统一开发规范、调度运维和治理监控,达成「业务零改动、管控一体化」的目标。
为破解上述痛点,Dataphin 在 Flink on Kubernetes 部署模式下推出「自定义镜像 + Pod 配置」能力,支持企业直接选用自有业务镜像,并可自行进行 Kubernetes YAML 配置,实现存量 Flink 任务的零成本迁移与无缝接入,在保障业务连续性的同时,达成实时计算任务的统一平台管控。
核心价值
1. 存量任务零成本迁移,大幅降低接入门槛
企业可直接在 Dataphin 中指定自有 Flink 业务镜像,无需对存量任务进行镜像改造或代码调整。原有镜像中的依赖环境、配置参数均可完整保留,实现「镜像不变、任务平移」,显著降低迁移成本与周期,让企业快速享受 Dataphin 的统一开发治理能力与平台化运维效率。
2. 原有配置完整复刻,消除环境适配风险
支持对 JobManager / TaskManager Pod 进行Kubernetes YAML 自定义配置,企业可将原有 K8s 环境中的资源规格、卷挂载等配置完整迁移至 Dataphin。通过配置的一致性保障,彻底消除环境适配风险,确保任务迁移后运行行为与原有环境完全一致,保障业务连续性。
3. 业务镜像与平台能力深度融合,实现统一管控
在保留企业自有镜像和配置的同时,Dataphin 提供任务开发、版本管理、调度运维、监控告警等全生命周期能力。企业既能延续经过验证的业务运行时环境,又能获得平台化的开发规范、治理标准和运维效率,真正实现「业务自主可控、平台统一管控」的最佳实践。
产品功能
自定义镜像选择
在 Flink DataStream 任务配置页面,用户可在添加任务是选用企业自有镜像:
Kubernetes YAML 自定义配置
Dataphin 支持对 JobManager / TaskManager Pod 进行 Kubernetes YAML 自定义配置,企业可将原有 K8s 环境中的配置迁移至平台。如:配置调度策略、卷挂载等
总结
本次上线的「Flink on Kubernetes 自定义镜像 + Pod 配置」能力,聚焦企业存量 Flink 实时任务迁移场景下的核心痛点,通过「自有镜像直接复用、原有配置完整迁移、平台能力无缝融合」三大机制,实现存量任务的零成本迁移与统一平台管控。企业无需改造业务镜像、无需承担环境适配风险,即可快速接入 Dataphin,享受统一开发规范、调度运维和治理监控带来的效率提升,真正实现业务连续性与平台价值的双重保障。
欢迎大家前来体验~