问题一:在大数据计算MaxCompute中,可以实现这个功能嘛?
在大数据计算MaxCompute中,可以实现这个功能嘛?
参考回答:
没有现成的例子。这里面有几个场景可以用一些内建函数解决。
LAG函数获取前一天的可售库存数+预留库存数。
https://help.aliyun.com/zh/maxcompute/user-guide/lag?spm=a2c4g.11186623.0.i5
用case when判断缺货,用count统计天数。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/591903
问题二:在大数据计算MaxCompute中,我用tunnel命令导出的数据,中文加密了,请问下是什么情况?
在大数据计算MaxCompute中,我用tunnel命令导出的数据,中文加密了,请问下是什么情况?
参考回答:
这应该是乱码,不是加密。检查下本地的编码
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/591902
问题三:在大数据计算MaxCompute中,有其他优化空间吗?
在大数据计算MaxCompute中,有其他优化空间吗?
参考回答:
可以把这个参数odps.sql.mapper.split.size 调小一些,让map阶段的并发大一些
https://help.aliyun.com/zh/maxcompute/use-cases/optimize-sql-statements?spm=a2c4g.11186623.0.i12
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/591900
问题四:在大数据计算MaxCompute中,利用MC做的全库数据备份 想重新备份 能按库级别去删除原来的吗
在大数据计算MaxCompute中,利用MC做的全库数据备份 想重新备份 能按库级别去删除原来的吗
参考回答:
在阿里云MaxCompute中,数据是以表的形式存储,并且分区是其重要的组织形式之一。由于MaxCompute是一个大规模分布式数据处理系统,它不支持直接按照数据库级别的全库删除操作,因为MaxCompute没有数据库的概念,而是项目(Project)的概念。
如果你想重新备份某个项目下的所有数据表,并删除原有的备份数据,你需要针对每个表及其分区进行操作:
- 删除原有备份数据:
对于分区表,可以使用带有分区条件的DELETE
语句删除特定分区的数据。例如,如果你有一个按日期分区的表,可以通过以下语句删除特定分区:
DELETE FROM your_table WHERE ds = 'your_date_partition';
- 如果要删除整个表的所有分区数据,可能需要遍历所有分区并逐一删除。
- 新的备份操作:
重新备份通常意味着从源数据重新生成一份新的副本。这可以通过多种方式实现,比如通过Tunnel命令行工具、DataWorks数据集成、DataX等方式导入数据到新的备份表中,或者是通过SQL语句重新计算并将结果保存到新的备份表。
需要注意的是,在MaxCompute中删除数据是不可逆操作,请在执行删除前确认备份计划并谨慎操作。同时,如果是大批量的数据删除,应当规划好资源使用和作业调度,避免对生产环境和其他业务产生影响。如果需要保留历史数据,可以采用定期分区策略,并移除不再需要的历史分区,而不是直接删除整个备份表。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/591898
问题五:在大数据计算MaxCompute中,请问pyodps里面,这边的的参数支持lambda表达式吗?
在大数据计算MaxCompute中,请问pyodps里面,这边的的参数支持lambda表达式吗?
参考回答:
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/591894