云数据仓库ADB数据库 在批量插入的时候，有没有条数建议？

在云数据仓库AnalyticDB（ADB）中进行批量插入时，确实存在一些条数建议和最佳实践，以确保性能和效率的最大化。以下是具体的建议和配置方法：

1. 批量插入条数的建议

• 推荐批量插入条数：
  在通过JDBC或其他方式导入数据时，建议每次批量插入的数据条数为 2048 条。这是经过优化后的默认值，能够在大多数场景下提供较好的性能。

• 单批数据大小限制：
  如果单条数据的体积较大（例如达到数百 KB），建议控制单批数据的总大小不超过 8 MB。可以通过以下公式计算合适的批量条数：

  批量条数 = 8 MB / 单条数据大小
  

  注意：单批数据过大可能会占用过多前端节点内存，从而影响导入性能。

• ClickHouse 的特殊建议：
  对于云数据库 ClickHouse，建议每次插入的数据行数在 1000 到 100000 行之间，理想情况下为 10000 到 100000 行。此外，无论插入数据的大小如何，建议保持每秒一个插入查询的频率，以避免后台合并操作无法跟上新分区的数量。

2. 并发配置

• 多并发导入：
  单进程导入可能无法充分利用系统资源，因此建议使用多个并发同时导入数据。并发数的具体设置需要根据实际场景测试调整，但可以参考以下步骤：

  • 初始并发数设置为较低值（如 5）。
  • 如果导入速度未达预期，逐步增加并发数（如翻倍）。
  • 当导入速度开始下降时，逐步降低并发数，找到最优值。

• 连接池配置：
  在使用 JDBC 导入时，可以通过 connectionMaxActive 参数设置连接池的最大连接数，默认值为 5。如果设置过大，可能会导致服务端连接数异常，需谨慎调整。

3. 其他优化建议

• 攒批机制：
  在通过 JDBC 导入数据时，建议启用攒批机制，避免单条插入操作。无特殊要求时，请始终使用批量插入。

• 异步插入：
  对于支持异步插入的场景（如 ClickHouse），可以使用异步插入来进一步提升性能。异步插入允许更高的插入查询速率，但需要注意后台合并操作的负载。

• Buffer 表引擎：
  在某些场景下，可以使用 Buffer 表引擎来实现批量插入。Buffer 表会在内存中缓存数据，并在满足一定条件（如数据量或时间间隔）时自动写入目标表。

4. 常见问题及解决方法

• 客户端导入压力不足：
  如果写入 TPS 不满足预期，可能是由于客户端导入压力不足。此时可以调大单次导入的批量插入条数和任务期望最大并发数，以增加导入压力。

• 数据倾斜问题：
  如果目标表存在数据倾斜，可能导致部分节点负载过高，影响导入性能。建议重新设计表结构，确保数据均匀分布。

总结建议

• 批量插入条数：建议为 2048 条 或根据单条数据大小调整至不超过 8 MB。
• 并发配置：通过测试逐步调整并发数，找到最优值。
• 其他优化：启用攒批机制、使用异步插入或 Buffer 表引擎。

通过以上配置和优化方法，您可以显著提升云数据仓库 ADB 的批量插入性能。