Doris给动态分区添加历史分区问题汇总

简介: Doris动态分区表添加历史分区

1:Doris建动态分区表的规则(部分规则,详情可看创建动态分区properties设置)

1.1:"dynamic_partition.enable" = "true",    -- 是否开启动态分区

1.2:"dynamic_partition.time_unit" = "DAY",              -- 动态分区调度单位

1.2:"dynamic_partition.end" = "3",            -- 提前创建分区数

1.3:"dynamic_partition.prefix" = "p",                          -- 分区前缀

假如在2024-10-30号创建一张动态分区表 那么它的分区如下:

image.png

会自动创建p20241030及预创建未来三天的分区,分区的范围为:

p20241030   [2024-10-30,2024-10-31)

p20241101   [2024-11-01,2024-11-02)

均为左闭右开区间


但是实际很多情况下都需要创建历史分区用来做离线T+1同步


2:为动态分区创建历史分区的步骤

一:手动将动态分区转为手动分区模式

alter table tb_name set ("dynamic_partition.enable" = "false";)

二:只创建一个历史分区的情况下,该历史数据包含所有时间的数据

alter table tb_name add partition p20241029 values less than ("2024-10-30");  -- 即添加p20241029分区,该分区存放pt< '2024-10-30'的所有数据

三:如果需要创建多个历史分区的情况下,需要注意分区的时段冲突问题

-- 比如说现在需要添加 p20241029  p20241028 p20241027三个历史分区
-- 首先假如p20241027为以上包含< '2024-10-28'的所有数据的情况
alter table tb_name add partition p20241027 values less than ("2024-10-28");
-- 为了避免时段冲突。接下来的两个分区创建如下
alter table tb_name add partition p20241028 values [("2024-10-28"),("2024-10-29"));
alter table tb_name add partition p20241029 values [("2024-10-29"),("2024-10-30"));

四:修改完之后记得开启动态分区模式

alter table tb_name set ("dynamic_partition.enable" = "true");
相关文章
|
6月前
|
存储 消息中间件 关系型数据库
Apache Doris 数据导入原理与性能优化 | Deep Dive
Apache Doris 数据导入机制基于分布式架构,通过 FE 与 BE 协同实现高效、可靠的数据写入。本文深入解析其核心流程、事务管理与性能瓶颈,涵盖 Stream Load、Broker Load 等多种导入方式,重点剖析 MemTable 前移、存算分离优化等关键技术,并提供表结构设计、攒批策略、分桶配置等实战优化方案,帮助用户在延迟与吞吐间取得平衡,显著提升数据导入效率。
1037 4
Apache Doris 数据导入原理与性能优化 | Deep Dive
Doris动态分区表
Doris动态分区表 Doris动态分区表传参
|
9月前
|
SQL 关系型数据库 Apache
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
本文将深入解析 Flink-Doris-Connector 三大典型场景中的设计与实现,并结合 Flink CDC 详细介绍了整库同步的解决方案,助力构建更加高效、稳定的实时数据处理体系。
3398 0
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
|
10月前
|
存储 数据管理 Apache
Doris建表分桶选择与优化建议
Apache Doris 中的分桶(Bucketing)是提升查询性能的重要优化手段。通过合理选择分桶列和分桶数,可提高数据并行处理能力与局部性。建议选用高基数、高频查询列作为分桶列,结合数据量与集群规模设置分桶数,推荐使用自动分桶(BUCKETS AUTO)。分桶策略包括哈希分桶与范围分桶,适用于不同场景。合理分桶可优化查询性能、导入效率与资源利用率,建议结合业务特征测试验证最佳方案。
896 0
|
SQL 存储 数据处理
兼顾高性能与低成本,浅析 Apache Doris 异步物化视图原理及典型场景
Apache Doris 物化视图进行了支持。**早期版本中,Doris 支持同步物化视图;从 2.1 版本开始,正式引入异步物化视图,[并在 3.0 版本中完善了这一功能](https://www.selectdb.com/blog/1058)。**
1173 1
|
SQL 算法 Apache
Apache Doris Profile&Explain详解
Apache Doris Profile&Explain详解
1899 0
|
数据库
数仓建设:数据域和主题域是什么关系?
数仓建设:数据域和主题域是什么关系?
10758 2
数仓建设:数据域和主题域是什么关系?
|
存储 分布式计算 OLAP
Apache Paimon统一大数据湖存储底座
Apache Paimon,始于Flink Table Store,发展为独立的Apache顶级项目,专注流式数据湖存储。它提供统一存储底座,支持流、批、OLAP,优化了CDC入湖、流式链路构建和极速OLAP查询。Paimon社区快速增长,集成Flink、Spark等计算引擎,阿里巴巴在内部广泛应用,旨在打造统一湖存储,打通Serverless Flink、MaxCompute等,欢迎大家扫码参与体验阿里云上的 Flink+Paimon 的流批一体服务。
21382 8
Apache Paimon统一大数据湖存储底座
|
SQL 分布式计算 数据挖掘
深入理解用户定义函数(UDF)
【8月更文挑战第31天】
2673 1