数据集成中的数据过滤支持FROM_UNIXTIME函数吗？

FROM_UNIXTIME函数

用法：

FROM_UNIXTIME(unix_timestamp)

描述：

该函数将Unix时间戳转换为指定格式的日期时间字符串。Unix时间戳是一个整数，表示自1970年1月1日午夜（UTC）以来的秒数。

数据过滤

数据集成支持使用FROM_UNIXTIME函数进行数据过滤。您可以使用该函数将Unix时间戳转换为日期时间字符串，然后使用日期时间比较操作符（如=、>、<等）进行过滤。

您的问题

从您提供的图片中，可以看到您的过滤条件是：

FROM_UNIXTIME(create_time) >= '2023-05-19 00:00:00' AND FROM_UNIXTIME(create_time) < '2023-05-20 00:00:00'

该过滤条件意在筛选出19日00:00:00到20日00:00:00之间的数据。但是，您提到了今天凌晨自动调度的不仅有19日还有20日的数据，这表明过滤条件不起作用。

可能的解决方案

检查以下可能的解决方案：

• 时区问题：确保您的数据源和数据集成中的时区设置一致。Unix时间戳不受时区影响，但日期时间字符串受时区影响。
• 数据类型问题：确保create_time列的数据类型与FROM_UNIXTIME函数的输出类型兼容。例如，create_time列应该是整数类型，而FROM_UNIXTIME函数的输出是字符串类型。
• 数据格式问题：确保FROM_UNIXTIME函数的输出格式与过滤条件中使用的日期时间格式一致。例如，您使用的日期时间格式可能是'yyyy-MM-dd HH:mm:ss'，而FROM_UNIXTIME函数的输出格式可能是'yyyy-MM-dd'。
• 并发事务：其他事务可能正在对该表进行更新或删除操作。尝试使用事务来确保数据一致性。

如果您已经排除了上述原因，并且仍然遇到问题，请提供更详细的错误信息或代码片段，以便我为您提供更具体的帮助。

这里的过滤条件最终会拼接成sql 在mysql服务端执行 可以从detail log中查询到实际执行的sql 再确认看下是否生效。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”