开发者社区> 问答> 正文

使用from odps import options options.sql.settings...

已解决

使用from odps import options options.sql.settings设置MaxCompute运行环境不成功如何解决

展开
收起
提个问题 2024-06-11 15:03:14 33 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    使用from odps import options options.sql.settings设置MaxCompute运行环境不成功,可参考以下步骤排查
    1. 问题现象:
      · 使用PyODPS运行SQL,在申请MaxCompute实例前,通过如下代码设置MaxCompute运行环境。
    from odps import options options.sql.settings = {'odps.sql.mapper.split.size': 32}
      · 运行任务后只启动了6个Mapper,设置未生效。 在客户端执行set odps.stage.mapper.split.size=32,一分钟运行完毕。
    2. 产生原因:
    客户端和PyODPS里设置的参数不一致。客户端的参数是odps.stage.mapper.split.size,而PyODPS里的参数是odps.sql.mapper.split.size。
    3. 解决措施:
    修改参数为odps.stage.mapper.split.size。
    其它PyODPS常见问题可点此参考
    2024-06-11 15:03:15
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server 2017 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载