Doris给动态分区添加历史分区问题汇总

简介: Doris动态分区表添加历史分区

1:Doris建动态分区表的规则(部分规则,详情可看创建动态分区properties设置)

1.1:"dynamic_partition.enable" = "true",    -- 是否开启动态分区

1.2:"dynamic_partition.time_unit" = "DAY",              -- 动态分区调度单位

1.2:"dynamic_partition.end" = "3",            -- 提前创建分区数

1.3:"dynamic_partition.prefix" = "p",                          -- 分区前缀

假如在2024-10-30号创建一张动态分区表 那么它的分区如下:

image.png

会自动创建p20241030及预创建未来三天的分区,分区的范围为:

p20241030   [2024-10-30,2024-10-31)

p20241101   [2024-11-01,2024-11-02)

均为左闭右开区间


但是实际很多情况下都需要创建历史分区用来做离线T+1同步


2:为动态分区创建历史分区的步骤

一:手动将动态分区转为手动分区模式

alter table tb_name set ("dynamic_partition.enable" = "false";)

二:只创建一个历史分区的情况下,该历史数据包含所有时间的数据

alter table tb_name add partition p20241029 values less than ("2024-10-30");  -- 即添加p20241029分区,该分区存放pt< '2024-10-30'的所有数据

三:如果需要创建多个历史分区的情况下,需要注意分区的时段冲突问题

-- 比如说现在需要添加 p20241029  p20241028 p20241027三个历史分区
-- 首先假如p20241027为以上包含< '2024-10-28'的所有数据的情况
alter table tb_name add partition p20241027 values less than ("2024-10-28");
-- 为了避免时段冲突。接下来的两个分区创建如下
alter table tb_name add partition p20241028 values [("2024-10-28"),("2024-10-29"));
alter table tb_name add partition p20241029 values [("2024-10-29"),("2024-10-30"));

四:修改完之后记得开启动态分区模式

alter table tb_name set ("dynamic_partition.enable" = "true");
相关文章
|
SQL 存储 JSON
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布:开箱盲测性能大幅优化,复杂查询性能提升 100%
亲爱的社区小伙伴们,Apache Doris 2.1.0 版本已于 2024 年 3 月 8 日正式发布,新版本开箱盲测性能大幅优化,在复杂查询性能方面提升100%,新增Arrow Flight接口加速数据读取千倍,支持半结构化数据类型与分析函数。异步多表物化视图优化查询并助力仓库分层建模。引入自增列、自动分区等存储优化,提升实时写入效率。Workload Group 资源隔离强化及运行时监控功能升级,保障多负载场景下的稳定性。新版本已经上线,欢迎大家下载使用!
1180 1
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布:开箱盲测性能大幅优化,复杂查询性能提升 100%
|
SQL 关系型数据库 Apache
Apache Doris 系列: 入门篇-创建数据表
Apache Doris 系列: 入门篇-创建数据表
2075 0
Doris动态分区表
Doris动态分区表 Doris动态分区表传参
|
存储 固态存储 关系型数据库
Apache Doris 系列: 入门篇-安装部署
Apache Doris 系列: 入门篇-安装部署
3911 0
|
存储 SQL 算法
一文教你玩转 Apache Doris 分区分桶新功能|新版本揭秘
一文教你玩转 Apache Doris 分区分桶新功能|新版本揭秘
1175 0
|
存储 分布式计算 OLAP
Apache Paimon统一大数据湖存储底座
Apache Paimon,始于Flink Table Store,发展为独立的Apache顶级项目,专注流式数据湖存储。它提供统一存储底座,支持流、批、OLAP,优化了CDC入湖、流式链路构建和极速OLAP查询。Paimon社区快速增长,集成Flink、Spark等计算引擎,阿里巴巴在内部广泛应用,旨在打造统一湖存储,打通Serverless Flink、MaxCompute等,欢迎大家扫码参与体验阿里云上的 Flink+Paimon 的流批一体服务。
19674 8
Apache Paimon统一大数据湖存储底座
|
SQL Apache 数据库
doris数据库的表重命名语法是什么
【6月更文挑战第24天】doris数据库的表重命名语法是什么
2879 0
|
SQL 算法 Apache
Apache Doris Profile&Explain详解
Apache Doris Profile&Explain详解
1552 0
|
存储 关系型数据库 MySQL
怎么使用 Flink 向 Apache Doris 表中写 Bitmap 类型的数据
怎么使用 Flink 向 Apache Doris 表中写 Bitmap 类型的数据
667 0
|
Oracle 关系型数据库 Java
实时计算 Flink版操作报错合集之如何通过savepoint恢复Flink CDC任务
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。