操作rds时 插入大于一万条数据报错

1. 问题描述： 您在使用INSERT INTO SELECT语句向表中插入数据时，遇到错误 [TDDL-4631][ERR_INSERT_SELECT_LIMIT_EXCEEDED] Number of selected records exceeds limit: 10000，表明您尝试插入的记录数超过了系统允许的限制，即一次性选择并插入的行数不能超过10000条。

2. 原因分析：

   • 系统限制：数据库或中间件为了防止大量数据操作导致的性能问题，通常会设定插入操作的记录数上限。

3. 解决步骤：

   • 分批插入：将大数据量的插入操作拆分为多个小批次执行。可以通过编写脚本或者程序逻辑来循环执行INSERT INTO SELECT语句，每次处理的数据量控制在限制之下，例如每次插入9000条数据，直到所有数据插入完毕。

     -- 假设原语句为: INSERT INTO target_table SELECT * FROM source_table;
     -- 分批插入示例（以每次插入9000条为例）
     SET @offset = 0;
     SET @batch_size = 9000;
     WHILE (@offset < 总记录数) DO
     INSERT INTO target_table 
     SELECT * 
     FROM source_table 
     LIMIT @offset, @batch_size;
     SET @offset = @offset + @batch_size;
     END WHILE;
     

     注意：上述SQL示例是逻辑示意，具体实现可能需要根据您使用的数据库管理系统（DBMS）调整语法，比如在某些数据库中可能不直接支持这种循环结构，您可能需要在应用程序层面实现循环和偏移量的计算。

   • 调整配置（如果支持）：检查数据库或中间件（如分布式数据库代理TDDL）是否有相关配置可以修改此限制值，适当增大限制以适应您的业务需求。但请注意，这可能会对系统资源和性能产生影响，需谨慎操作。

4. 注意事项：

   • 性能监控：在执行批量插入时，持续监控数据库及系统的性能指标，确保操作不会导致服务不稳定。
   • 事务管理：如果涉及到事务处理，请确保每个批次的插入都在一个事务中正确提交或回滚，避免数据不一致。
   • 资源评估：考虑大批次写入对系统资源的影响，必要时提前进行资源扩容或优化。

通过以上方法，您可以有效解决因单次插入记录数过多导致的错误，确保数据能够成功导入到目标表中。您可以复制页面截图提供更多信息，我可以进一步帮您分析问题原因。