在 Apache Doris 中，分桶（Bucketing） 是表设计中重要的优化手段，用于将数据分散到不同的存储节点（Tablet），以提高查询并行度和数据局部性。分桶策略的选择直接影响查询性能和数据均衡，以下是分桶选择的关键点及实践建议：
1. 分桶列（Bucket Key）的选择
分桶列决定了数据如何分布到不同的桶中。选择原则：
- 高基数（High Cardinality）：选择值分布均匀的列（如用户ID、订单ID），避免数据倾斜。
- 高频查询列：分桶列常用于查询的过滤条件（
WHERE）或连接条件（JOIN），能利用分桶裁剪（Bucket Pruning）跳过无关桶，减少扫描量。 - 避免选择低基数列：例如性别、状态等，可能导致数据分布不均，引发热点问题。
示例：
CREATE TABLE user_behavior (
user_id INT,
item_id INT,
behavior_time DATETIME,
...
)
DISTRIBUTED BY HASH(user_id) BUCKETS 32;
2. 分桶数（Bucket Number）的选择
分桶数决定了数据的并行处理能力和单桶数据量：
- 数据量估算：每个分桶的数据量建议在 100MB~1GB 之间。例如，表总数据量预计为 100GB，可设置 100~1000 个分桶。
- 集群规模：分桶数应与集群节点数协调。例如，若集群有 10 个 BE 节点，分桶数设为 10 的倍数（如 20、30），确保数据均匀分布。
- 避免过多分桶：分桶过多会增加元数据管理开销，影响 FE 性能。
- 动态调整：Doris 支持自动分桶（Auto Bucket），系统根据数据量自动调整分桶数，适合新手。
示例：
-- 手动指定分桶数
DISTRIBUTED BY HASH(user_id) BUCKETS 48;
-- 自动分桶（推荐）
DISTRIBUTED BY HASH(user_id) BUCKETS AUTO;
3. 分桶策略
Doris 支持两种分桶方式：
- 哈希分桶（HASH）：默认方式，根据哈希值将数据均匀分散到不同桶。适合高基数列。
- 范围分桶（RANGE）：按范围（如时间列）划分数据，适合时间序列数据或范围查询频繁的场景。
示例：
-- 范围分桶（通常与分区结合使用）
PARTITION BY RANGE(behavior_time) (
PARTITION p202301 VALUES [('2023-01-01'), ('2023-02-01')),
PARTITION p202302 VALUES [('2023-02-01'), ('2023-03-01'))
)
DISTRIBUTED BY HASH(user_id) BUCKETS 32;
4. 分桶优化建议
- 数据倾斜检查：通过
SHOW DATA命令查看各分桶数据量，确保分布均匀。 - 结合分区使用：先按时间分区（如天/月），再哈希分桶，实现两级数据划分。
- 查询模式匹配：分析常用查询的过滤条件，优先选择高频过滤列作为分桶列。
- 小表优化：维度表（小表）可设置为单分桶，避免分布式查询开销。
5. 分桶与性能的关系
- 并行度：分桶数越多，查询并行度越高，但资源消耗也越大。
- 导入性能：分桶数过多可能导致小文件问题，影响导入效率。
- Compaction：合理分桶可减少 Compaction 压力。
总结
- 分桶列：选择高基数、高频查询列。
- 分桶数：根据数据量和集群规模动态调整，推荐使用
BUCKETS AUTO。 - 策略：哈希分桶通用，范围分桶适合时序数据。
正确选择分桶策略能显著提升 Doris 的查询性能和资源利用率。建议结合业务场景和数据分布特征，通过测试验证最优分桶方案。
