问题一:大数据计算MaxCompute直接用Information_网页上操作可以吗?
大数据计算MaxCompute直接用Information_网页上操作可以吗?
参考回答:
可以 ,
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/589178
问题二:请问下大数据计算MaxCompute,读取出来却超过我的内存(8G内存)大小了喃?这是怎么回事啊?
请问下大数据计算MaxCompute,读取出来却超过我的内存(8G内存)大小了喃?这是怎么回事啊?
参考回答:
在MaxCompute中读取数据超过内存大小可能是由于数据量过大或内存分配不足导致的。
为了解决这个问题,可以采取以下几个措施:
- 调整内存设置:可以通过设置
odps.stage.mapper.mem
、odps.stage.reducer.mem
和odps.stage.joiner.mem
等参数来增加每个任务的内存限制。例如,使用命令set odps.stage.mapper.split.size=256;
可以调整每个Mapper读取数据的大小为256 MB。 - 优化查询:检查SQL查询是否可以进行优化,比如减少不必要的数据加载、使用分区表来限制查询的数据范围等。
- 增加Worker节点:如果单个Worker的内存不足以处理数据,可以考虑增加Worker节点的数量,并相应地提高每个节点的内存配置。
- 使用UDF:如果数据处理复杂,可以考虑使用MaxCompute的用户自定义函数(UDF)来优化处理逻辑。在使用UDF时,如果处理的数据量很大,可以在UDF的Java类方法中调用
ExecutionContext.claimAlive
来重置计时器,避免因长时间占用CPU资源而被系统限制。
需要注意的是,在进行这些调整时,应该根据实际情况和系统的限制来进行,避免过度消耗资源或超出系统的限制。同时,也需要考虑到成本和效率的平衡,确保资源的合理利用。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/591324
问题三:想问下大数据计算MaxCompute任务消耗的cu数是如何计算的啊?
想问下大数据计算MaxCompute任务消耗的cu数是如何计算的啊?
参考回答:
information schema里的task表,有针对每个任务的CU统计:total_cpu_usage,可以看下
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/589175
问题四:对于大数据计算MaxCompute的数据集成,配置了写入前删除数据的这种表能恢复吗?
对于大数据计算MaxCompute的数据集成,配置了写入前删除数据的这种表能恢复吗?
参考回答:
可以查一下。我理解可以
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/589167
问题五:请问大数据计算MaxCompute如果把数据误删的话,能不能回滚呀?或者说有没有什么快照?
请问大数据计算MaxCompute如果把数据误删的话,能不能回滚呀?或者说有没有什么快照?
参考回答:
https://help.aliyun.com/zh/maxcompute/user-guide/backup-and-restoration?spm=a2c4g.11174283.0.i1
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/589166