dataworks 在reader DRDS数据时，执行语句增加了 /* TDDL ... */ 导

在使用DataWorks进行DRDS数据同步时，如果执行语句中增加了/* TDDL ... */注释，可能会导致DRDS执行全表扫描，即使已经在数据过滤条件中添加了分表字段（如post_date）的条件，但实际执行时该条件未生效。以下是问题的原因分析及解决方案：

问题原因

1. TDDL注释的影响
   DRDS（PolarDB-X 1.0）在解析SQL时，会根据/* TDDL ... */注释生成分布式执行计划。如果注释中未正确指定分片键或分片规则，可能导致DRDS无法正确路由查询到具体的分片，从而触发全表扫描。

2. 过滤条件未命中索引
   即使在where条件中指定了分表字段（如post_date），但如果该字段未被正确识别为分片键，或者未在底层物理表上建立索引，DRDS可能仍然会执行全表扫描。

3. 数据源配置问题
   如果DRDS数据源的连接方式或配置不正确，可能导致SQL执行计划未能充分利用分片特性，进而影响性能。

解决方案

1. 检查并优化TDDL注释

• 确保/* TDDL ... */注释中明确指定了分片键和分片规则。例如：

  /* TDDL: SHARDING_KEY=post_date */
  SELECT * FROM your_table WHERE post_date >= '2023-01-01' AND post_date < '2023-02-01';
  

  • SHARDING_KEY应与实际的分片键一致。
  • 如果未指定TDDL注释，DRDS可能无法正确路由查询。

2. 确保过滤条件命中索引

• 检查post_date字段是否为分片键，并确认其在底层物理表上已建立索引。如果未建立索引，建议添加索引以提高查询性能。

  CREATE INDEX idx_post_date ON your_table(post_date);
  

3. 配置Reader脚本参数

• 在DataWorks的Reader脚本中，确保正确配置了splitPk参数。splitPk用于指定分片键，帮助DataWorks在读取数据时进行分片操作。例如：

  {
    "stepType": "drds",
    "parameter": {
        "datasource": "your_drds_datasource",
        "column": ["id", "name", "post_date"],
        "where": "post_date >= '2023-01-01' AND post_date < '2023-02-01'",
        "table": "your_table",
        "splitPk": "post_date"
    },
    "name": "Reader",
    "category": "reader"
  }
  

  • 注意：splitPk字段必须是分片键，否则可能导致全表扫描。

4. 验证SQL执行计划

• 使用DRDS的EXPLAIN命令验证SQL执行计划，确保查询能够正确路由到分片。例如：

  EXPLAIN /* TDDL: SHARDING_KEY=post_date */ 
  SELECT * FROM your_table WHERE post_date >= '2023-01-01' AND post_date < '2023-02-01';
  

  • 检查执行计划中是否包含分片路由信息。如果未包含，说明分片键未正确识别。

5. 调整数据源配置

• 确保DRDS数据源在DataWorks中使用JDBC连接串方式创建，并且网络连通性正常。
• 如果问题仍未解决，可以尝试重新创建DRDS数据源，并检查其配置是否符合要求。

注意事项

• 避免全表扫描：全表扫描会导致性能下降，尤其是在大数据量场景下。务必确保过滤条件能够命中索引，并正确配置分片键。
• 权限要求：执行任务时，需确保用户具备replace into权限，以及其他可能需要的权限（如preSql和postSql中指定的语句权限）。
• 调度参数：如果使用调度参数动态生成过滤条件，需确保参数值正确传递到SQL语句中。

通过以上步骤，您可以有效解决因/* TDDL ... */注释导致的全表扫描问题，并确保数据过滤条件能够正确生效。如果问题仍然存在，建议联系阿里云技术支持团队进一步排查。