Doris给动态分区添加历史分区问题汇总

简介: Doris动态分区表添加历史分区

1:Doris建动态分区表的规则(部分规则,详情可看创建动态分区properties设置)

1.1:"dynamic_partition.enable" = "true",    -- 是否开启动态分区

1.2:"dynamic_partition.time_unit" = "DAY",              -- 动态分区调度单位

1.2:"dynamic_partition.end" = "3",            -- 提前创建分区数

1.3:"dynamic_partition.prefix" = "p",                          -- 分区前缀

假如在2024-10-30号创建一张动态分区表 那么它的分区如下:

image.png

会自动创建p20241030及预创建未来三天的分区,分区的范围为:

p20241030   [2024-10-30,2024-10-31)

p20241101   [2024-11-01,2024-11-02)

均为左闭右开区间


但是实际很多情况下都需要创建历史分区用来做离线T+1同步


2:为动态分区创建历史分区的步骤

一:手动将动态分区转为手动分区模式

alter table tb_name set ("dynamic_partition.enable" = "false";)

二:只创建一个历史分区的情况下,该历史数据包含所有时间的数据

alter table tb_name add partition p20241029 values less than ("2024-10-30");  -- 即添加p20241029分区,该分区存放pt< '2024-10-30'的所有数据

三:如果需要创建多个历史分区的情况下,需要注意分区的时段冲突问题

-- 比如说现在需要添加 p20241029  p20241028 p20241027三个历史分区
-- 首先假如p20241027为以上包含< '2024-10-28'的所有数据的情况
alter table tb_name add partition p20241027 values less than ("2024-10-28");
-- 为了避免时段冲突。接下来的两个分区创建如下
alter table tb_name add partition p20241028 values [("2024-10-28"),("2024-10-29"));
alter table tb_name add partition p20241029 values [("2024-10-29"),("2024-10-30"));

四:修改完之后记得开启动态分区模式

alter table tb_name set ("dynamic_partition.enable" = "true");
相关文章
|
11月前
|
SQL 关系型数据库 Apache
Apache Doris 实时更新全解:从设计原理到最佳实践|Deep Dive
本文档将作为一份官方指南,系统性地阐述 Apache Doris 的数据更新能力,内容涵盖其核心原理、多样的更新与删除方式、典型的应用场景,以及在不同部署模式下的性能最佳实践,旨在帮助您全面掌握并高效利用 Doris 的数据更新功能。
776 0
Apache Doris 实时更新全解:从设计原理到最佳实践|Deep Dive
|
9月前
|
人工智能 Java API
Apache Flink Agents 0.2.0 发布公告
Apache Flink Agents 0.2.0发布!该预览版统一流处理与AI智能体,支持Java/Python双API、Exactly-Once一致性、多级记忆(感官/短期/长期)、持久化执行及跨语言资源调用,兼容Flink 1.20–2.2,助力构建高可靠、低延迟的事件驱动AI应用。
1133 9
Apache Flink Agents 0.2.0 发布公告
|
12月前
|
存储 JSON 搜索推荐
深入理解 Doris Variant:如何让 JSON 查询性能追平列存,还能承载万列索引字段?|Deep Dive
在如 Snowflake、ElasticSearch、ClickHouse.... 等传统系统中,对于 JSON 的处理往往面临灵活性及性能无法兼得的困境,而 Apache Doris 的 VARIANT 类型,通过动态子列、稀疏列存储、延迟物化和路径索引等能力,实现了灵活结构 + 列存性能的平衡。本文将对该能力的实现一一讲解,全面展示其优势。
541 7
深入理解 Doris Variant:如何让 JSON 查询性能追平列存,还能承载万列索引字段?|Deep Dive
|
12月前
|
存储 消息中间件 关系型数据库
Apache Doris 数据导入原理与性能优化 | Deep Dive
Apache Doris 数据导入机制基于分布式架构,通过 FE 与 BE 协同实现高效、可靠的数据写入。本文深入解析其核心流程、事务管理与性能瓶颈,涵盖 Stream Load、Broker Load 等多种导入方式,重点剖析 MemTable 前移、存算分离优化等关键技术,并提供表结构设计、攒批策略、分桶配置等实战优化方案,帮助用户在延迟与吞吐间取得平衡,显著提升数据导入效率。
1621 4
Apache Doris 数据导入原理与性能优化 | Deep Dive
Doris动态分区表
Doris动态分区表 Doris动态分区表传参
|
SQL 关系型数据库 Apache
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
本文将深入解析 Flink-Doris-Connector 三大典型场景中的设计与实现,并结合 Flink CDC 详细介绍了整库同步的解决方案,助力构建更加高效、稳定的实时数据处理体系。
4292 0
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
|
存储 数据管理 Apache
Doris建表分桶选择与优化建议
Apache Doris 中的分桶(Bucketing)是提升查询性能的重要优化手段。通过合理选择分桶列和分桶数,可提高数据并行处理能力与局部性。建议选用高基数、高频查询列作为分桶列,结合数据量与集群规模设置分桶数,推荐使用自动分桶(BUCKETS AUTO)。分桶策略包括哈希分桶与范围分桶,适用于不同场景。合理分桶可优化查询性能、导入效率与资源利用率,建议结合业务特征测试验证最佳方案。
1278 0
|
SQL 算法 Apache
Apache Doris Profile&Explain详解
Apache Doris Profile&Explain详解
2178 0
|
存储 SQL NoSQL
Doris数据仓库介绍
Doris数据仓库介绍
5087 14
|
存储 SQL 监控
计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台
灵犀科技早期基于 Hadoop 构建大数据平台,在战略调整和需求的持续扩增下,数据处理效率、查询性能、资源成本问题随之出现。为此,引入 [Apache Doris](https://doris.apache.org/) 替换了复杂技术栈,升级为集存储、加工、服务为一体的统一架构,实现存储成本下降 60%,计算效率提升超 10 倍的显著成效。
940 0
计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台

热门文章

最新文章