Doris同一个SQL任务,前一天执行成功,第二天执行失败

简介: Doris 动态分区 插入数据 同样的代码隔天运行一个成功一个失败
问题描述:

Dolphin上同样的一段Doris SQL,在T+2的时候运行实例是成功的,结果T+1的时候实例失败

SQL逻辑:
with a as () 
insert overwrite table table_name partition p'${pt}'
select 
  *
from table_name2;

SQL主要是用来将T+2的全量数据和T+1的增量数据合并去重,得到一份新的全量数据插入到T+1的分区

报错日志:

image.png

问题排查:

1:先检查了下代码和工作流的参数配置,确认没有任何变动 排除SQL问题

2:找运维了解了下云服务器的DolphinScheduler有没有更换过版本(因为目前在测试),确认排除平台的问题

3:在客户端重新执行了一下,报的错是一样的,然后建了一个test表,然后插入数据测试,发现对于上面的SQL语法是支持的

4:通过检查数据,发现T+2的全量表的分区字段值是'2024-10-24',但是T+1的增量表的分区字段值是'2024-10-25',需要插入到p20241025中,

发现分区字段的值必须为2024-10-25才能插入成功


解决办法:

在代码中,从原来的直接取pt字段值,改成参数的形式,新分区中的pt值设置为'${dt}',dt = '$[yyyy-MM-dd-1]' 问题解决,重新运行,运行成功。

相关文章
|
1月前
|
SQL 数据采集 自然语言处理
NL2SQL之DB-GPT-Hub<详解篇>:text2sql任务的微调框架和基准对比
NL2SQL之DB-GPT-Hub<详解篇>:text2sql任务的微调框架和基准对比
|
3月前
|
SQL 资源调度 分布式计算
一个SQL任务的一生
一条SQL语句的执行究竟经历了哪些过程?作者作为一个刚入职的大数据研发新人对SQL任务执行整个流程进行了整理,本文就作者学习内容和体会供大家参考。
|
3月前
|
SQL 测试技术
评估数据集CGoDial问题之SST任务上下文SQL的问题如何解决
评估数据集CGoDial问题之SST任务上下文SQL的问题如何解决
|
3月前
|
SQL DataWorks 安全
DataWorks产品使用合集之怎么跨项目移动sql任务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
SQL DataWorks 安全
DataWorks产品使用合集之是否支持调度StarRocks的SQL任务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
SQL 测试技术
预训练模型STAR问题之SST任务上下文SQL的问题如何解决
预训练模型STAR问题之SST任务上下文SQL的问题如何解决
|
4月前
|
SQL 运维 DataWorks
DataWorks产品使用合集之如何通过OpenAPI获取SQL任务每次提交的SQL变更内容
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
SQL 分布式计算 大数据
MaxCompute产品使用合集之如何提升sql任务并行度
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
102 1
|
5月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之在使用ODPSSQL节点进行SQL任务开发时,如何执行大量的SQL语句
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
89 4
|
5月前
|
SQL 分布式计算 大数据
MaxCompute操作报错合集之使用spark.sql执行rename分区操作,遇到任务报错退出的情况,该怎么办
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。