DataWorks执行补数据流程时,经常性的发生一个实例报错,手动重试后可以成功,报错信息是这样的?

DataWorks执行补数据流程时,经常性的发生一个实例报错,手动重试后可以成功,报错信息是这样的
Submit job failed: Submit instance [id=875234213] to alisa failed! execute task failed, uniquekey conflict,key:7831998bbb3311932803d97277e1dbef
【解决方法】该错误的原因是,有相同的任务(代码完全一致)正在运行,导致该任务提交的时候被调度系统拒绝了。
【场景一】:周期任务正在运行同时又去补数据。
【场景二】:任务调度周期较短,任务上一周期未运行完下一周期开始运行会出现该报错,建议设置任务自依赖?

展开
收起
真的很搞笑 2023-07-25 18:23:33 161 分享 版权
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    一些常见的可能原因和解决方法如下:

    配额不足:如果您的 DataWorks 项目空间配额不足,可能会导致实例提交失败。您可以登录 DataWorks 控制台,查看项目空间的资源使用情况,以确定是否需要添加更多的配额。

    资源竞争:如果您的 DataWorks 项目空间有多个作业或实例同时运行,可能会导致资源竞争,从而导致某些实例提交失败。您可以尝试调整作业或实例的调度时间,避免资源竞争。

    代码错误:如果您的补数据脚本存在语法错误或逻辑错误,可能会导致实例提交失败。您可以检查补数据脚本的代码,确保其语法正确并符合预期的逻辑。

    网络连接问题:如果您的网络连接存在问题,可能会导致实例提交失败。您可以检查网络连接是否稳定,并尝试重新提交实例。

    其他因素:实例提交失败可能还有其他因素,如数据源配置错误、权限不足等。您可以根据实际情况逐一排查,并采取相应的解决方法。

    2023-07-30 16:31:56
    赞同 展开评论
  • 当执行DataWorks的补数据流程时,如果出现经常性的实例报错,但手动重试后可以成功,可能是由于以下原因导致:

    1. 网络或连接问题:在数据集成过程中,涉及到数据源、计算引擎、任务调度等多个环节。网络不稳定、连接超时等问题都可能导致实例报错。手动重试时,可能恰巧避开了这些网络或连接问题。

    2. 数据一致性问题:补数据流程会对已有的数据进行修复或更新,如果数据本身存在一致性问题,可能会导致实例报错。手动重试时,可能根据具体情况进行了数据清洗、处理或调整,从而解决了一致性问题。

    3. 并发冲突:在数据集成过程中,如果同时有多个任务在操作相同的数据资源,可能会出现并发冲突。手动重试时,可能由于时间差异或其他原因,避免了并发冲突导致的问题。

    当出现这种情况时,可以尝试以下方法来解决或排查问题:

    • 检查错误信息:仔细阅读实例报错的详细信息,看是否提供了具体的错误描述或提示。这将有助于确定问题的具体来源和解决方向。

    • 查看日志和监控:在DataWorks控制台中,查看任务或实例的运行日志和监控信息,以了解更多关于问题发生的上下文和环境。

    • 重试机制:如果手动重试能够成功,可以尝试通过设置自动重试机制来处理这种经常性实例报错。在任务配置中,查找“重试策略”或“错误处理”选项,根据实际情况,配置适当的重试次数和间隔时间。

    • 联系技术支持:如果问题仍然存在或无法确定原因,建议联系DataWorks技术支持团队,提供详细的报错信息、操作步骤和相关日志,以获取更专业的帮助和指导。

    2023-07-26 21:38:24
    赞同 展开评论
  • 当补一个区间的数据时,在启动补数据的第一天存在一个运行失败的实例,则当天的补数据实例会被置为失败状态,第二天的实例也不会启动运行(只有当天的全部任务实例都成功,第二天的任务实例才会开始运行)。自依赖的周期任务执行补数据时,如果补数据任务中第一个实例前一天的周期实例没有运行,则该补数据任务也无法触发运行。如果补数据任务的第一个实例前一天没有周期实例,则补数据实例会直接触发运行。如果周期实例和补数据实例均启动运行,为了保证周期实例的正常运行,您需要终止补数据实例的运行。补数据实例过多或并行数过高可能导致周期调度的资源紧张,请您根据需求合理配置。
    https://help.aliyun.com/document_detail/137937.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-25 18:41:31
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理