大数据计算MaxCompute有一组di上线任务，数据源是hdfs，每天都运行，是什么原因呢？
大数据计算MaxCompute有一组di上线任务，数据源是hdfs，每天都运行，但是在information_schema.TASKS_HISTORY查不到运行记录，是什么原因呢？
select * from(
select distinct owner_name, get_json_object(settings,'$.SKYNET_NODENAME') as task_name
from information_schema.TASKS_HISTORY
where ds>='20240226' and task_schema = 'xxxxxx'
) where task_name='xxxxxxx'
其他di类型可以查到
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。可能的原因有以下几点：
- 任务没有成功执行。请检查任务的执行情况，确保任务已经成功执行。
- 任务的历史记录被清除了。请检查MaxCompute的任务历史保留策略，确保任务的历史记录没有被清除。
- 查询条件不正确。请检查查询条件是否正确，确保能够查询到任务的运行记录。
建议按照以下步骤进行排查：
- 登录MaxCompute控制台，查看任务的执行情况，确保任务已经成功执行。
- 检查MaxCompute的任务历史保留策略，确保任务的历史记录没有被清除。
- 修改查询条件，确保能够查询到任务的运行记录。例如，可以尝试使用
*代替distinct owner_name, get_json_object(settings,'$.SKYNET_NODENAME') as task_name，以便查看所有字段的信息。
2024-03-04 13:42:07赞同 1 展开评论 打赏 -
在 MaxCompute 中，根据您描述的情况，出现无法在
information_schema.TASKS_HISTORY表中查询到特定类型的 DI 上线任务记录的原因可能有多种。以下是一些可能的原因和解决方案：
DI 任务类型不支持记录到 TASKS_HISTORY 表：
有些特定类型的 DI 任务可能不会被记录到information_schema.TASKS_HISTORY表中。这可能是由于特定类型的任务执行机制与任务历史记录表的设计不匹配所致。您可以查阅官方文档或联系 MaxCompute 技术支持，确认该类型的任务是否应该记录到任务历史记录表中。数据源问题：
如果您的 DI 任务的数据源是 HDFS，可能存在数据源连接或读取的问题导致任务未被成功记录到任务历史记录表中。您可以检查任务的日志和运行情况，确认任务是否正常运行并且有产生相关的执行记录。权限问题：
某些情况下，任务执行所用的账号可能没有足够的权限将执行记录写入到任务历史记录表中。您可以确认任务执行所使用的账号是否具有写入任务历史记录表的权限。版本或配置问题：
某些情况下，特定版本的 MaxCompute 可能存在 bug 或配置问题，导致某些类型的任务无法正确记录到任务历史记录表中。您可以检查 MaxCompute 的版本更新和配置信息，确认是否有相关的已知问题或需要更新的配置项。
针对这个问题，建议您首先确认任务的运行日志和运行情况，以及任务执行所用的账号权限和相关的版本配置信息。
2024-03-04 13:23:41赞同 展开评论 打赏 -
TASKS_HISTORY记录的是在MaxCompute上执行的作业记录。 数据同步任务要查Tunnels_history ，此回答整理自钉群“MaxCompute开发者社区2群”
2024-03-04 10:57:10赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
