问题一:公司在用MaxCompute 做数据开发 ,大数据计算MaxCompute平台上有什么参数可以调整吗
公司在用MaxCompute 做数据开发 ,大数据计算MaxCompute平台上有什么参数可以调整吗
参考回答:
对于MaxCompute到SLS(日志服务)的日志采集延时问题,通常来说,这个过程涉及到多个环节,包括MaxCompute产生日志、日志传输到SLS、SLS处理和存储日志等。因此,优化这个过程需要从这些环节入手。
- MaxCompute产生日志:你可以查看是否有大量的数据操作或者复杂的计算任务导致系统繁忙,从而影响了日志的产生速度。如果有这种情况,可以考虑优化你的数据操作或者计算任务,例如分批次处理数据,避免一次性处理大量数据。
- 日志传输到SLS:这个环节主要取决于网络状况和MaxCompute与SLS之间的通信效率。如果网络状况不佳,可以考虑改善网络环境;如果是通信效率问题,可以查看是否有参数可以调整以提高效率,例如增大并发数等。
- SLS处理和存储日志:这个环节的效率主要取决于SLS的处理能力和存储能力。如果SLS的处理能力不足,可以考虑升级SLS的配置,例如增加节点数量等;如果存储能力不足,可以考虑优化存储结构,例如使用分区、索引等功能提高查询效率。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/604809
问题二:大数据计算MaxCompute中insert into 写入会根据主键更新吗?
大数据计算MaxCompute中insert into 写入会根据主键更新吗?
参考回答:
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/604808
问题三:大数据计算MaxCompute可以发下upsert into语句在2.0事务表怎么使用吗?
大数据计算MaxCompute可以发下upsert into语句在2.0事务表怎么使用吗?
参考回答:
回答1:transaction2.0表的upsert语义只有外部写入是自动的,SQL语法上暂时还没有。
回答2:没有单独对表的类型做不同的收费,MaxCompute的收费逻辑可以看下:https://help.aliyun.com/zh/maxcompute/product-overview/overview-1?spm=a2c4g.11186623.0.0.79e622c2JVcM5F
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/604807
问题四:大数据计算MaxCompute中一个20GB数据输入的多表关联只有一个实例,可能的原因是啥?
大数据计算MaxCompute中一个20GB数据输入的多表关联只有一个实例,可能的原因是啥?
参考回答:
正常公共云慢作业有个排查思路:
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/604806
问题五:大数据计算MaxCompute的SQL写入2.0事务表不支持upsert吗?
大数据计算MaxCompute的SQL写入2.0事务表不支持upsert吗?
参考回答:
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/604805