Doris同一个SQL任务,前一天执行成功,第二天执行失败

简介: Doris 动态分区 插入数据 同样的代码隔天运行一个成功一个失败
问题描述:

Dolphin上同样的一段Doris SQL,在T+2的时候运行实例是成功的,结果T+1的时候实例失败

SQL逻辑:
with a as () 
insert overwrite table table_name partition p'${pt}'
select 
  *
from table_name2;

SQL主要是用来将T+2的全量数据和T+1的增量数据合并去重,得到一份新的全量数据插入到T+1的分区

报错日志:

image.png

问题排查:

1:先检查了下代码和工作流的参数配置,确认没有任何变动 排除SQL问题

2:找运维了解了下云服务器的DolphinScheduler有没有更换过版本(因为目前在测试),确认排除平台的问题

3:在客户端重新执行了一下,报的错是一样的,然后建了一个test表,然后插入数据测试,发现对于上面的SQL语法是支持的

4:通过检查数据,发现T+2的全量表的分区字段值是'2024-10-24',但是T+1的增量表的分区字段值是'2024-10-25',需要插入到p20241025中,

发现分区字段的值必须为2024-10-25才能插入成功


解决办法:

在代码中,从原来的直接取pt字段值,改成参数的形式,新分区中的pt值设置为'${dt}',dt = '$[yyyy-MM-dd-1]' 问题解决,重新运行,运行成功。

相关文章
|
SQL Java 数据库连接
Apache Doris 支持 Arrow Flight SQL 协议,数据传输效率实现百倍飞跃
近年来,随着数据科学、数据湖分析等场景的兴起,对数据读取和传输速度提出更高的要求。而 JDBC/ODBC 作为与数据库交互的主流标准,在应对大规模数据读取和传输时显得力不从心,无法满足高性能、低延迟等数据处理需求。为提供更高效的数据传输方案,Apache Doris 在 2.1 版本中基于 Arrow Flight SQL 协议实现了高速数据传输链路,使得数据传输性能实现百倍飞跃。
1283 0
|
SQL 数据可视化 Apache
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移
阿里云数据库 SelectDB 内核 Doris 的 SQL 方言转换工具, Doris SQL Convertor 致力于提供高效、稳定的 SQL 迁移解决方案,满足用户多样化的业务需求。兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移。
1853 1
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移
|
SQL 存储 搜索推荐
浅谈 Apache Doris FE 处理查询 SQL 源码解析
浅谈 Apache Doris FE 处理查询 SQL 源码解析
1752 0
浅谈 Apache Doris FE 处理查询 SQL 源码解析
|
关系型数据库 MySQL 网络安全
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
|
SQL 安全 Java
驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。错误:“The server selected protocol version TLS10 is not accepted by client
驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。错误:“The server selected protocol version TLS10 is not accepted by client
2033 0
|
SQL 存储 网络安全
关系数据库SQLserver 安装 SQL Server
【7月更文挑战第26天】
421 6
解锁 SQL Server 2022的时间序列数据功能
【7月更文挑战第14天】要解锁SQL Server 2022的时间序列数据功能,可使用`generate_series`函数生成整数序列,例如:`SELECT value FROM generate_series(1, 10)。此外,`date_bucket`函数能按指定间隔(如周)对日期时间值分组,这些工具结合窗口函数和其他时间日期函数,能高效处理和分析时间序列数据。更多信息请参考官方文档和技术资料。
723 9
|
SQL 存储 监控
SQL Server的并行实施如何优化?
【7月更文挑战第23天】SQL Server的并行实施如何优化?
1028 13
|
SQL 监控 数据库
SQL Server 查询超时问题排查
【7月更文挑战第8天】排查 SQL Server 查询超时涉及五个主要方面:检查复杂查询、评估服务器性能、审视配置参数、更新统计信息和分析执行计划。关注点包括查询的结构(如连接、子查询和索引),服务器资源(CPU、内存、网络延迟),连接和内存设置,以及统计信息的时效性。通过这些步骤可定位并解决性能瓶颈。
834 0