DataphinV3.14 Flink SQL任务支持基于Session集群调试,模拟生产代码逻辑的调试效果

简介: 实时研发一直以来的都是通过local-debug的方式来调试开发中的Flink SQL任务,该方式有如下不足:1. 支持的采样数据有限,且非是流式数据的调试。2. 手动上传构造数据的方式较为繁琐,局限性较大。为便于Flink SQL任务的调试,DataphinV3.14版本支持Flink SQL任务基于Session集群调试,期望做到像离线即席查询般方便地获取实时任务的输出结果,方便用户对线上的真实数据进行代码逻辑上的调试。

背景

实时研发一直以来的都是通过local-debug的方式来调试开发中的Flink SQL任务,该方式有如下不足:

  1. 支持的采样数据有限,且非是流式数据的调试。
  2. 手动上传构造数据的方式较为繁琐,局限性较大。
    为便于Flink SQL任务的调试,DataphinV3.14版本支持Flink SQL任务基于Session集群调试,期望做到像离线即席查询般方便地获取实时任务的输出结果,方便用户对线上的真实数据进行代码逻辑上的调试。

Flink Session集群是一个适用于任务快速启停的可交互集群,用户可以在Flink Session集群中实时调试和测试Flink任务。Flink Session集群提供了任务状态、日志和输出结果的实时查看功能,用户可以通过观察任务的行为和输出来验证任务的正确性。用户可以迭代地修改和调试任务代码,以便快速定位和解决问题。

功能概览:

  1. 支持基于Session集群调试实时任务
  2. 支持为Session集群划分独立资源以进行实时任务的调试,不影响其他任务的运行。
  3. 支持跳转Flink ui实时查看Session集群任务的状态、日志和输出结果。
  4. 支持用户对线上的真实数据进行代码逻辑上的调试。
  5. 支持流式数据的调试,实时获取任务的输出结果。

使用说明:

仅 R.S3.0 基于K8s架构的独立部署的开源flink引擎下支持使用

操作流程:

1. 创建用于Session集群任务调试的自定义资源组

需要先创建自定义资源组以创建Session集群用于Flink SQL任务调试。
入口:管理中心 > 资源设置 > 资源组配置 > 新建自定义资源组

  1. 选择合适的调度资源集群
  2. 配置合理的CPU、内存
  3. 应用场景选择实时任务-创建Session集群

image.png

2. 创建Session集群

入口:管理中心 > 资源设置 > Session集群 > 新建Session集群

  1. 配置合理的CPU、内存可用量,注意资源配置的CPU、内存总量不能大于Session集群资源组的CPU、内存可用量。
    Session集群所需的CPU用量 = Task Managers数量 x TaskManager CPU Cores + JobManager CPU Cores
    Session集群所需的内存用量 = Task Managers数量 x TaskManager Memory + JobManager Memory
  2. 配置Session集群运行参数,后续使用Session集群调试Flink SQL任务时,将默认配置该参数信息。
  3. 完成Session集群新建后将自动启动,可以在Session集群列表查看启动状态。

image.png
image.png

3. 调试 Flink SQL任务

调试Flink SQL任务时选择采集线上数据,选择可用的调试集群,任务开始调试后会将调试结果打印在控制台
image.png
image.png

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
8月前
|
SQL 传感器 人工智能
生成更智能,调试更轻松,SLS SQL Copilot 焕新登场!
阿里云日志服务(SLS)推出智能分析助手 SLS SQL Copilot,融合 AI 技术与日志分析最佳实践,将自然语言转换为 SQL 查询,降低使用门槛,提升查询效率。其具备原生集成、智能语义理解与高效执行能力,助力用户快速洞察日志数据价值,实现智能化日志分析新体验。
510 1
|
8月前
|
SQL 传感器 人工智能
生成更智能,调试更轻松,SLS SQL Copilot 焕新登场!
本文是阿里云日志服务(SLS)首次对外系统性地揭秘 SLS SQL Copilot 背后的产品理念、架构设计与核心技术积淀。我们将带你深入了解,这一智能分析助手如何从用户真实需求出发,融合前沿 AI 能力与 SLS 十余年日志分析最佳实践,打造出面向未来的智能化日志分析体验。
679 50
|
SQL 自然语言处理 数据库
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况:服务名对应多人拥有状态(1/0表示),以及服务名与人名重复列的情况,分别采用双层for循环和字典数据结构实现数据转换,最终生成Name对应的Services列表(逗号分隔)。此方法高效解决大量数据的人工处理难题,减少错误并提升效率。文中附带代码示例及执行结果截图,便于理解和实践。
328 5
|
SQL 运维 Java
蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造
本文介绍了对Flink实时计算编译任务的Koupleless架构改造。为解决进程模型带来的响应慢、资源消耗大等问题,团队将进程模型改为线程模型,并借助Koupleless的类加载隔离能力实现版本和包的隔离。通过动态装配Plugin及其Classpath,以及Biz运行时仅对依赖Plugin可见的设计,大幅优化了编译任务的性能。结果表明,新架构使编译耗时降低50%,吞吐量提升5倍以上。
蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造
|
SQL Java 数据库连接
如何在 Java 代码中使用 JSqlParser 解析复杂的 SQL 语句?
大家好,我是 V 哥。JSqlParser 是一个用于解析 SQL 语句的 Java 库,可将 SQL 解析为 Java 对象树,支持多种 SQL 类型(如 `SELECT`、`INSERT` 等)。它适用于 SQL 分析、修改、生成和验证等场景。通过 Maven 或 Gradle 安装后,可以方便地在 Java 代码中使用。
4674 11
|
SQL 监控 关系型数据库
SQL错误代码1303解析与处理方法
在SQL编程和数据库管理中,遇到错误代码是常有的事,其中错误代码1303在不同数据库系统中可能代表不同的含义
|
SQL 存储 监控
串口调试助手连接SQL数据库的技巧与方法
串口调试助手是电子工程师和软件开发人员常用的工具,它能够帮助用户进行串口通信的调试和数据分析
|
SQL 消息中间件 分布式计算
大数据-143 - ClickHouse 集群 SQL 超详细实践记录!(一)
大数据-143 - ClickHouse 集群 SQL 超详细实践记录!(一)
594 0
|
SQL 大数据
大数据-143 - ClickHouse 集群 SQL 超详细实践记录!(二)
大数据-143 - ClickHouse 集群 SQL 超详细实践记录!(二)
369 0
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
570 0