DataphinV3.14 Flink SQL任务支持基于Session集群调试,模拟生产代码逻辑的调试效果

简介: 实时研发一直以来的都是通过local-debug的方式来调试开发中的Flink SQL任务,该方式有如下不足:1. 支持的采样数据有限,且非是流式数据的调试。2. 手动上传构造数据的方式较为繁琐,局限性较大。为便于Flink SQL任务的调试,DataphinV3.14版本支持Flink SQL任务基于Session集群调试,期望做到像离线即席查询般方便地获取实时任务的输出结果,方便用户对线上的真实数据进行代码逻辑上的调试。

背景

实时研发一直以来的都是通过local-debug的方式来调试开发中的Flink SQL任务,该方式有如下不足:

  1. 支持的采样数据有限,且非是流式数据的调试。
  2. 手动上传构造数据的方式较为繁琐,局限性较大。
    为便于Flink SQL任务的调试,DataphinV3.14版本支持Flink SQL任务基于Session集群调试,期望做到像离线即席查询般方便地获取实时任务的输出结果,方便用户对线上的真实数据进行代码逻辑上的调试。

Flink Session集群是一个适用于任务快速启停的可交互集群,用户可以在Flink Session集群中实时调试和测试Flink任务。Flink Session集群提供了任务状态、日志和输出结果的实时查看功能,用户可以通过观察任务的行为和输出来验证任务的正确性。用户可以迭代地修改和调试任务代码,以便快速定位和解决问题。

功能概览:

  1. 支持基于Session集群调试实时任务
  2. 支持为Session集群划分独立资源以进行实时任务的调试,不影响其他任务的运行。
  3. 支持跳转Flink ui实时查看Session集群任务的状态、日志和输出结果。
  4. 支持用户对线上的真实数据进行代码逻辑上的调试。
  5. 支持流式数据的调试,实时获取任务的输出结果。

使用说明:

仅 R.S3.0 基于K8s架构的独立部署的开源flink引擎下支持使用

操作流程:

1. 创建用于Session集群任务调试的自定义资源组

需要先创建自定义资源组以创建Session集群用于Flink SQL任务调试。
入口:管理中心 > 资源设置 > 资源组配置 > 新建自定义资源组

  1. 选择合适的调度资源集群
  2. 配置合理的CPU、内存
  3. 应用场景选择实时任务-创建Session集群

image.png

2. 创建Session集群

入口:管理中心 > 资源设置 > Session集群 > 新建Session集群

  1. 配置合理的CPU、内存可用量,注意资源配置的CPU、内存总量不能大于Session集群资源组的CPU、内存可用量。
    Session集群所需的CPU用量 = Task Managers数量 x TaskManager CPU Cores + JobManager CPU Cores
    Session集群所需的内存用量 = Task Managers数量 x TaskManager Memory + JobManager Memory
  2. 配置Session集群运行参数,后续使用Session集群调试Flink SQL任务时,将默认配置该参数信息。
  3. 完成Session集群新建后将自动启动,可以在Session集群列表查看启动状态。

image.png
image.png

3. 调试 Flink SQL任务

调试Flink SQL任务时选择采集线上数据,选择可用的调试集群,任务开始调试后会将调试结果打印在控制台
image.png
image.png

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
11月前
|
SQL 运维 Java
蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造
本文介绍了对Flink实时计算编译任务的Koupleless架构改造。为解决进程模型带来的响应慢、资源消耗大等问题,团队将进程模型改为线程模型,并借助Koupleless的类加载隔离能力实现版本和包的隔离。通过动态装配Plugin及其Classpath,以及Biz运行时仅对依赖Plugin可见的设计,大幅优化了编译任务的性能。结果表明,新架构使编译耗时降低50%,吞吐量提升5倍以上。
蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造
zdl
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
693 56
|
Kubernetes Cloud Native 流计算
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
450 3
|
存储 运维 监控
实时计算Flink版在稳定性、性能、开发运维、安全能力等等跟其他引擎及自建Flink集群比较。
实时计算Flink版在稳定性、性能、开发运维和安全能力等方面表现出色。其自研的高性能状态存储引擎GeminiStateBackend显著提升了作业稳定性,状态管理优化使性能提升40%以上。核心性能较开源Flink提升2-3倍,资源利用率提高100%。提供一站式开发管理、自动化运维和丰富的监控告警功能,支持多语言开发和智能调优。安全方面,具备访问控制、高可用保障和全链路容错能力,确保企业级应用的安全与稳定。
302 0
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
551 0
|
关系型数据库 MySQL 网络安全
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
|
SQL 存储 监控
SQL Server的并行实施如何优化?
【7月更文挑战第23天】SQL Server的并行实施如何优化?
702 13
解锁 SQL Server 2022的时间序列数据功能
【7月更文挑战第14天】要解锁SQL Server 2022的时间序列数据功能,可使用`generate_series`函数生成整数序列,例如:`SELECT value FROM generate_series(1, 10)。此外,`date_bucket`函数能按指定间隔(如周)对日期时间值分组,这些工具结合窗口函数和其他时间日期函数,能高效处理和分析时间序列数据。更多信息请参考官方文档和技术资料。
505 9
|
SQL 存储 网络安全
关系数据库SQLserver 安装 SQL Server
【7月更文挑战第26天】
331 6
|
SQL Oracle 关系型数据库
MySQL、SQL Server和Oracle数据库安装部署教程
数据库的安装部署教程因不同的数据库管理系统(DBMS)而异,以下将以MySQL、SQL Server和Oracle为例,分别概述其安装部署的基本步骤。请注意,由于软件版本和操作系统的不同,具体步骤可能会有所变化。
1347 3