MaxCompute手动可以跑，但是线上调度就不对 这是什么情况 ？

根据您提供的错误信息 filter condition AND(null(BOOLEAN), ISNOTNULL($4)) is always false，结合MaxCompute的相关知识库资料，以下是可能的原因分析及解决方案：

1. 问题原因分析

该错误表明在SQL语句中存在一个逻辑过滤条件，其结果始终为false。具体来看： - AND(null(BOOLEAN), ISNOTNULL($4)) 的逻辑表达式中，null(BOOLEAN) 始终返回 NULL。 - 在布尔逻辑中，NULL 和任何值进行 AND 运算时，结果始终为 false 或 NULL（取决于上下文）。 - 因此，整个过滤条件的结果恒为 false，导致查询无法正确执行。

这种问题通常出现在以下场景中： 1. SQL语句中的过滤条件编写错误：可能是由于手动编写的SQL语句中存在逻辑错误，或者某些字段的默认值未正确处理。 2. 线上调度与手动运行环境差异：线上调度任务可能使用了不同的参数或配置，导致SQL语句的行为发生变化。 3. 数据倾斜或空值处理不当：如果 $4 列中存在大量 NULL 值，可能导致过滤条件失效。

2. 解决方案

2.1 检查并修正过滤条件

• 确保过滤条件中的布尔表达式是有效的。例如，避免直接使用 NULL 作为布尔值参与逻辑运算。

• 修改过滤条件，确保逻辑表达式的有效性。例如：

  -- 错误写法
  WHERE AND(null(BOOLEAN), ISNOTNULL($4))
  
  -- 正确写法
  WHERE ISNOTNULL($4)
  

  如果需要对 $4 列进行额外的过滤，可以添加其他条件，但应避免无效的布尔逻辑。

2.2 检查线上调度任务的配置

• 线上调度任务可能通过 WHEN 配置项动态生成过滤条件。请检查调度任务的 WHEN 表达式是否正确。
• 示例：

  WHEN ISNOTNULL($4) AND $4 > 0
  

  确保 WHEN 表达式中没有无效的布尔逻辑。

2.3 检查数据分布和空值处理

• 使用 ISNULL 或 NOTNULL 函数检查 $4 列是否存在大量 NULL 值。例如：

  SELECT ISNULL($4) FROM table_name;
  

• 如果 $4 列中存在大量 NULL 值，建议在过滤条件中显式处理这些值。例如：

  WHERE $4 IS NOT NULL AND $4 > 0
  

2.4 开启兼容模式

• 如果问题与SQL解析相关，可以尝试开启 Hive 兼容模式。在SQL语句前添加以下配置：

  SET odps.sql.hive.compatible=true;
  

2.5 检查任务优先级和资源分配

• 如果线上调度任务与其他高优任务竞争资源，可能导致任务被中断或失败。可以通过以下方式优化：
  • 提高任务优先级：

  SET odps_task_priority=10;
  

  注意：此操作需联系 Project Owner 或相关负责人确认当前集群资源情况。 - 分离离线任务和在线任务，避免资源争抢。

3. 重要提醒

• 布尔类型限制：MaxCompute 不允许布尔类型与其他类型之间的隐式转换。如果过滤条件中涉及非布尔类型的字段，请确保其符合布尔表达式的规范。
• 动态分区优化：如果任务涉及动态分区，建议检查 odps.sql.reshuffle.dynamicpt 参数设置。对于动态分区个数较少的任务，可以将其设置为 false 以提高性能。

4. 验证与调试

• 在手动运行环境中验证修改后的SQL语句是否能够正常执行。
• 在线上调度任务中重新提交任务，并观察日志输出，确保问题已解决。

通过以上步骤，您可以定位并解决 filter condition AND(null(BOOLEAN), ISNOTNULL($4)) is always false 的问题。如果问题仍然存在，请提供更多上下文信息（如完整的SQL语句、调度任务配置等），以便进一步分析。