问题一:大数据计算MaxCompute该任务里面的sql逻辑我也没有改过;你们服务最近有改什么吗?
大数据计算MaxCompute该任务里面的sql逻辑我也没有改过;然后sql里面设计到的表,我一个一个都排查了下,里面数据也都正常,没有出现数据激增等异常情况。那为什么10.31号之前没出现过;
10.31号及之后,这个任务每次跑都是很慢,都会出现:online job失败后回退的?我今天重跑了两次,依然很慢,都是20多分钟
你们服务最近有改什么吗?
参考答案:
主要是1的这个情况,导致时间差异较大
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/566591
问题二:大数据计算MaxCompute这个截图的任务调度,这部分是什么操作?
大数据计算MaxCompute这个截图的任务调度,这部分是什么操作?我这个任务执行时间从昨天开始变的很长,之前都是四五分钟就跑完了;昨天我看延长到了20多分钟
参考答案:
- 看两次的log view对比出,慢的作业出现过online job失败后回退的情况;
- 两次数据量是否有差异;3. 我看使用的是后付费按量付费的quota,凌晨调度可能会出现等待计算资源的情况。
Fuxi Job的两种作业类型:Online Job(service mode)和Offline Job。
对于Offline的作业而言,当每次提交作业时在Fuxi上都会有一个环境准备的时间,针对大数据量并且不需要返回查询结果的作业比较合适,而对小数据量并且实时作业要求比较高的作业是不合适的。所以Fuxi提供为什么ServiceMode这种准实时的作业形式,也是online,首先会有一个服务去预先申请计算一些资源并加载出来,比如会预先分配一 万个nstance,当有作业提交时会根据作业规模分配一些Instance进行执行,这样就省去环境准备的时间,所以就会比较快。online不等资源且不保证成功。
如果service mode失败,比如instance个数超过1000,或者运行超过10分钟,就会退回以Offline模式重跑。
可以set odps.service.mode=off;这样就直接跑完了,不会再跑online
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/566590
问题三:大数据计算MaxCompute调度的运行情况 怎么导出?
大数据计算MaxCompute调度的运行情况 怎么导出?
比如:每个实例对象的 调度时间、开始运行时间、结束运行时间、运行时长
参考答案:
直接导出是没有办法,有api可以获取到每个实例的详细信息,可以看下这里
https://help.aliyun.com/zh/dataworks/developer-reference/api-getinstance
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/566589
问题四:大数据计算MaxCompute 是不是不能执行show external table这样子的语句?
请问下大数据计算MaxCompute PYODPS o.execute_sql是不是不能执行show external table这样子的语句?
参考答案:
列出空间下的表可以用这个
https://help.aliyun.com/zh/maxcompute/user-guide/tables#section-h5r-3ll-cfb
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/566588
问题五:请问一下大数据计算MaxCompute表的数据可以导出为本地文件吗?
请问一下大数据计算MaxCompute表的数据可以导出为本地文件吗?
参考答案:
可以,用tunnel命令导出。
https://help.aliyun.com/zh/maxcompute/user-guide/tunnel-commands#section-qxw-2zf-vdb
公网下载数据会产生费用:https://help.aliyun.com/zh/maxcompute/product-overview/data-transfer-fee
DataWorks的数据分析界面也可以导出
关于本问题的更多回答可点击进行查看: