Doris同一个SQL任务,前一天执行成功,第二天执行失败

简介: Doris 动态分区 插入数据 同样的代码隔天运行一个成功一个失败
问题描述:

Dolphin上同样的一段Doris SQL,在T+2的时候运行实例是成功的,结果T+1的时候实例失败

SQL逻辑:
with a as () 
insert overwrite table table_name partition p'${pt}'
select 
  *
from table_name2;

SQL主要是用来将T+2的全量数据和T+1的增量数据合并去重,得到一份新的全量数据插入到T+1的分区

报错日志:

image.png

问题排查:

1:先检查了下代码和工作流的参数配置,确认没有任何变动 排除SQL问题

2:找运维了解了下云服务器的DolphinScheduler有没有更换过版本(因为目前在测试),确认排除平台的问题

3:在客户端重新执行了一下,报的错是一样的,然后建了一个test表,然后插入数据测试,发现对于上面的SQL语法是支持的

4:通过检查数据,发现T+2的全量表的分区字段值是'2024-10-24',但是T+1的增量表的分区字段值是'2024-10-25',需要插入到p20241025中,

发现分区字段的值必须为2024-10-25才能插入成功


解决办法:

在代码中,从原来的直接取pt字段值,改成参数的形式,新分区中的pt值设置为'${dt}',dt = '$[yyyy-MM-dd-1]' 问题解决,重新运行,运行成功。

相关文章
|
SQL 数据采集 自然语言处理
NL2SQL之DB-GPT-Hub<详解篇>:text2sql任务的微调框架和基准对比
NL2SQL之DB-GPT-Hub<详解篇>:text2sql任务的微调框架和基准对比
|
9月前
|
SQL 分布式计算 资源调度
Dataphin功能Tips系列(48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
344 4
|
10月前
|
SQL 关系型数据库 分布式数据库
利用 PolarDB PG 版向量化引擎,加速复杂 SQL 查询!完成任务领发财新年抱枕!
利用 PolarDB PG 版向量化引擎,加速复杂 SQL 查询!完成任务领发财新年抱枕!
289 14
|
11月前
|
SQL 机器学习/深度学习 运维
SQL优化有绝招,使用DAS提升工作效率!完成任务可领取保暖手套!
数据库自治服务(Database Autonomy Service,简称DAS)是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务。数据库自治服务DAS支持自动SQL优化,相比传统的优化方式,能够自动识别问题SQL,生成索引优化建议。
|
SQL 关系型数据库 MySQL
体验使用DAS实现数据库SQL优化,完成任务可得羊羔绒加厚坐垫!
本实验介绍如何通过数据库自治服务DAS对RDS MySQL高可用实例进行SQL优化,包含购买RDS实例并创建数据库、数据导入、生成并优化慢SQL、执行优化后的SQL语句等实验步骤。完成任务,即可领取羊羔绒加厚坐垫,限量500个,先到先得。
413 19
|
SQL 资源调度 分布式计算
一个SQL任务的一生
一条SQL语句的执行究竟经历了哪些过程?作者作为一个刚入职的大数据研发新人对SQL任务执行整个流程进行了整理,本文就作者学习内容和体会供大家参考。
|
SQL 测试技术
评估数据集CGoDial问题之SST任务上下文SQL的问题如何解决
评估数据集CGoDial问题之SST任务上下文SQL的问题如何解决
158 1
|
SQL DataWorks 安全
DataWorks产品使用合集之是否支持调度StarRocks的SQL任务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
SQL 运维 DataWorks
DataWorks产品使用合集之如何通过OpenAPI获取SQL任务每次提交的SQL变更内容
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
SQL 分布式计算 大数据
MaxCompute产品使用合集之如何提升sql任务并行度
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
268 1