使用from odps import options options.sql.settings设置MaxCompute运行环境不成功,可参考以下步骤排查
1. 问题现象:
· 使用PyODPS运行SQL,在申请MaxCompute实例前,通过如下代码设置MaxCompute运行环境。
from odps import options
options.sql.settings = {'odps.sql.mapper.split.size': 32}
· 运行任务后只启动了6个Mapper,设置未生效。 在客户端执行set odps.stage.mapper.split.size=32,一分钟运行完毕。
2. 产生原因:
客户端和PyODPS里设置的参数不一致。客户端的参数是odps.stage.mapper.split.size,而PyODPS里的参数是odps.sql.mapper.split.size。
3. 解决措施:
修改参数为odps.stage.mapper.split.size。