问题一:请教下大数据计算MaxCompute,这个jobs任务,有没有优化的方法呢?
请教下大数据计算MaxCompute,这个jobs任务,在这个节点一直卡在90%,跑一个多小时了,有没有优化的方法呢?
参考答案:
如果某些task执行的慢了,会启动backup的,backup和慢的哪个先执行完了,剩下的就会停止,停止的这个状态是interrupted。任务例行化实例有backups没有关系, 只要最后作业状态是结束的就可以。odps 会同时拉起很多fuxi instance 。backup是系统优化策略。运行慢的时候系统重新拉起一个新的task去运行,大概率是map数据分布不均匀,导致长尾的那个运行慢。另外如果是专有云,建议找驻场问问。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/573300
问题二:大数据计算MaxCompute这两个ID为什么会被判断为同一个ID?
大数据计算MaxCompute这两个ID为什么会被判断为同一个ID?
我看了下如果where条件换成字符串类型,就是正确的’
参考答案:
那可能是隐式转换导致的。我测试一下,转成了double。
加cast 强转一下,或者数据类型要正确。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/573299
问题三:大数据计算MaxCompute有没有其余方式来实现 ?
大数据计算MaxCompute有没有其余方式来实现 我的函数里面有限制?只能并发50去跑这个函数的逻辑
我执行undo table tablename to jobid; 的sql报错了,这是因为原表的分区不存在了吗
参考答案:
没有这样的参数让资源一直保持一个数量级
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/573294
问题四:请问下大数据计算MaxCompute,分区表的分区被误删除了,能恢复吗?
请问下大数据计算MaxCompute,分区表的分区被误删除了,能恢复吗?
参考答案:
看下这个。https://help.aliyun.com/zh/maxcompute/user-guide/backup-and-restoration?spm=a2c4g.11186623.0.i8
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/573293
问题五:我想要完成一个功能 问下使用dataworks或者maxcompute如何完成呀?
我想要完成一个功能 大数据计算MaxCompute 读取maxcompute中的某些数据 并且要求50个并发去处理这些数据 处理逻辑是请求第三方接口gpt 然后返回结果 写回maxcompute中 其中要求50个并发是必须的 问下使用dataworks或者maxcompute如何完成呀?
参考答案:
改这个odps.stage.mapper.split.size,另外是根据数据量来分片的
关于本问题的更多回答可点击进行查看: