DataWorks已改参数,但是修改是对开发环境生效,对生产环境没有效果?
Base table partition not exists.
原因:前一日的全量分区没有产生,一般较少出现,可能场景:
手动补数据运行Merge实例,但前一日实例没有运行,确保前一日Merge实例正常运行完成。
首次运行时离线全量或者加表后全量同步未执行完成,如果存在同步失败的表,解决方案中通过先减表再加表的方式重新初始化该表。
如果是其他原因,可能是触发了不支持的场景,请联系值班同学进一步排查。
Run job failed,instance:XXXX.
原因:有ODPS SQL子任务运行失败,搜索instanceId,定位到错误日志,通常日志类似如下:
Instance: XXX, Status: FAILED
result: ODPS-0110061: Failed to run ddltask - Persist ddl plans failed.
, Logview:
http://Logview.odps.aliyun.com/Logview/?h=http://service.ap-southeast-1.maxcompute.aliyun-inc.com/api&p=sgods&i=20220807101011355goyu43wa&token=NFBwc2tzaEpJNGF0OVFINmJuREZrem1OamQ4PSxPRFBTX09CTzo1OTMwMzI1NTY1MTk1MzAzLDE2NjAxMjYyMTEseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL3Nnb2RzL2luc3RhbmNlcy8yMDIyMDgwNzEwMTAxMTM1NWdveXU0M3dhIl19XSwiVmVyc2lvbiI6IjEifQ== ]
出现ODPS-XXXX这种错误提示,通常是代表ODPS内部执行错误,您可查看SQL错误码(ODPS-01CCCCX)文档查询报错以及解决办法,若文档中找不到或有其他问题,可以咨询MaxCompute技术支持人员。
Request rejected by flow control. You have exceeded the limit for the number of tasks you can run concurrently in this project. Please try later.
原因:Merge并发提交的SQL子任务过多,触发了ODPS对该project并发限流。
解决方案:
设置Merge任务并发参数concurrency降低并发。
更改Merge任务调度时间配置,打散Merge任务运行时间。
联系MaxCompute技术支持人员解决。
您好,DataWorks修改的参数只在开发环境生效而对生产环境无影响的问题可能是由调度参数配置和任务调度机制决定的。
在DataWorks中,调度参数是任务调度时使用的参数,可以根据您配置的调度参数取值规则,在每次任务运行时自动替换为真实的取值。这些参数可以在数据开发页面进行配置和测试。同时,DataWorks提供了开发环境冒烟测试功能,您可以根据业务时间替换调度参数,并进行测试。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。