大数据开发套件—调度运维常见问题

简介: 我们在使用进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加大数据开发套件进行任务调度运维过程中遇到的常见问题,供大家参考~

我们在进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加 大数据开发套件 时遇到的常见问题,供大家参考~

Q. 如果之前提交的任务修改后再次提交,是否会影响当天的任务调度?
A. 根据修改的内容来确定是否会影响:如果修改的只是 sql 语句,则不会影
响;如果修改自定义参数和调度配置以后重新提交的,都会影响当天的任
务调度 。

Q. 创建一个新的工作流任务,如果保存后没有提交任务,是否可以进行测试?
A. 仅保存后没有提交,sql 任务可以在本地运行,但不可以提交测试 。

Q. 项目管理下项目配置中的启动调度周期是什么意思?如图所示:

1
A. 若不启用调度周期,则 周期调度不可用, 也就不会生成新的调度实例 。

Q. 图片中的任务状态实际是暂停的,为什么统计的是失败?

2
A. 大数据开发套件中的暂停状态,就是失败,所以会放在失败里统计。此处建议如果用于紧急处理任务,减少对下游数据的影响,可以将其置为暂停状态;如果是不再使用的任务,建议删除 。

Q. 在大数据开发套件—运维中心中查看任务,显示全部失败?

3
A. 因为任务中配置了上游依赖,上游任务跑失败了,导致下游任务无法继续。

Q. 在大数据开发套件中进行补数据任务时,是否需要设置并发?
A. 补数据时不需要设置并发。

Q. 工作流任务设置为周期性调度,并且是自依赖的,有时上个周期的任务失败会导致下游任务都不能执行了。请问怎样手动启动下游任务?
A. 进入 运维中心-任务运维 页面,找到失败的任务,右击任务名称,需要重跑的任务就重跑,不需要重跑就直接选择置成功,并恢复调度,如下图所示:

32

Q. 若未成功的上游任务有很多,一个一个进行手动置成功比较麻烦,请问是否有办法先切断依赖,然后从某个时间点再运行吗?
A. 可以重新对某个时间短的数据进行补数据。

Q. 补某个时间段的数据没有问题,但是原来的任务由于上游出错,所有下游任务都不能运行了,应该怎么处理 ?
A. 需要先将这个任务暂停,提交,然后明天取消已暂停的任务,重新提交,后天就可以正常了。此处需要过一天后才能正常运行,未正常运行的,暂时通过补数据来完成。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
运维 监控 负载均衡
高效运维实践:常见问题的应对策略与实践经验
本文探讨了运维工作中的五大核心挑战及应对策略,涵盖负载均衡优化、数据库性能提升、系统监控预警、容器化与微服务运维等方面,旨在帮助企业提升系统稳定性与运维效率。
|
机器学习/深度学习 人工智能 运维
智能调度:自动化运维的"最强大脑"进化论
智能调度:自动化运维的"最强大脑"进化论
1133 15
|
运维 Kubernetes 负载均衡
震惊!容器化运维竟藏如此大招,容器调度与服务编排让你的软件部署 “逆天改命”
【8月更文挑战第31天】在数字化时代,容器化技术革新了软件开发与运维方式,其高效、灵活及可移植的特点为企业应用部署提供了全新方案。容器调度与服务编排作为核心环节,通过优化资源分配、提升系统可靠性和可扩展性,实现了自动化管理。Kubernetes 等工具不仅简化了容器调度,还通过 Deployment、Service、Ingress 等资源对象实现了复杂应用架构的自动化运维,大幅提高了资源利用率和系统稳定性,减少了人工干预,加速了企业数字化转型。
410 2
|
存储 资源调度 运维
【容器化运维的艺术】揭秘镜像仓库与资源调度的完美协同!
【8月更文挑战第25天】随着容器技术的发展,企业日益倾向于采用容器化方式部署应用,以提升部署效率及资源管理灵活性。其中,镜像仓库和资源调度成为核心组件。镜像仓库实现容器镜像的集中存储与管理,确保版本一致性和安全性;资源调度则依据实际需求优化容器运行位置与资源配置,提高资源利用率和应用性能。二者协同作用,显著简化应用部署流程,为企业创造更大价值。
375 3
|
运维 算法 调度
深入理解操作系统:进程调度与优先级自动化运维:使用Ansible实现服务器集群管理
【8月更文挑战第27天】在操作系统的众多奥秘中,进程调度无疑是一个既简单又复杂的主题。它就像是交响乐团中的指挥,协调着每一个音符,确保乐曲和谐而有序地进行。本文将带领读者走进进程调度的世界,探索其背后的原理和实现,同时通过代码示例揭示其精妙之处。让我们一起揭开进程调度的神秘面纱,理解它在操作系统中的重要性。
|
SQL 运维 分布式计算
DataWorks操作报错合集之购买了独享的调度资源组,在运维界面批量修改调度资源组报错了,而且也没有资源组显示,是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
225 0
|
分布式计算 算法 大数据
MaxCompute操作报错合集之使用mf时,为什么还是把独享调度资源占满了
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
285 0
|
存储 资源调度 大数据
云计算在大数据分析中的弹性资源调度策略
云计算在大数据分析中的弹性资源调度策略

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute