MaxCompute产品使用合集之如何增加Reduce任务的个数

问题一：在大数据计算MaxCompute中，同一个project大量的请求，会有计算瓶颈吗？

我们目前的MaxCompute是按量付费的，同一个project大量的请求，会有计算瓶颈吗？sql之间会互相影响吗？

参考答案：

理论上不会。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/575138

问题二：在大数据计算MaxCompute中，调度资源组是默认了公共调度资源吗？

我想咨询下，使用SDK调用MaxCompute时，调度资源组是默认了公共调度资源吗？

参考答案：

调度资源组是DataWorks上的概念，本地sdk调MaxCompute的话和资源组不挂钩哈。SQL task之类的会底层走绑定project的quota来进行计算。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/575137

问题三：在大数据计算MaxCompute中，如何增加reduce个数？

grouping sets只生成了一个reduce，导致任务运行很慢，如何增加reduce个数？

https://logview.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun-inc.com/api&p=sm_cdp&i=20231129090609633geq83eb2fwr3&token=czZYRXlmNy9tdytYMElhbkZNTlRYQSt6cmx3PSxPRFBTX09CTzpwNF8yNjU5NzQwMzA1MDAzODczNTUsMTcwMzg0MDc2OSx7IlN0YXRlbWVudCI6W3siQWN0aW9uIjpbIm9kcHM6UmVhZCJdLCJFZmZlY3QiOiJBbGxvdyIsIlJlc291cmNlIjpbImFjczpvZHBzOio6cHJvamVjdHMvc21fY2RwL2luc3RhbmNlcy8yMDIzMTEyOTA5MDYwOTYzM2dlcTgzZWIyZndyMyJdfV0sIlZlcnNpb24iOiIxIn0=

参考答案：

odps.stage.reducer.num和odps.stage.reducer.mem可以设置下

https://help.aliyun.com/zh/maxcompute/user-guide/flag-parameters?spm=a2c4g.11186623.0.i17#concept-2278178 。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/575136

问题四：在大数据计算MaxCompute中，可以设置参数从而通过mc访问到外部专用网络吗？

打扰请教一下，有个场景，我们想通过mc的pyodps类型任务，执行普通的例如request请求，可以设置参数set odps.session.networklink=xxx;从而通过mc访问到外部专用网络吗？目前我只在sql任务中设置或者pyodps的execute_sql中添加hints参数能实现，但是在python脚本中的代码能设置生效吗

参考答案：

yODPS中设置运行参数的方式就是提到的execute_sql中添加hints参数，暂时还没有直接可以指定到代码中的方式。

https://help.aliyun.com/zh/maxcompute/user-guide/use-pyodps-in-local-environment?spm=a2c4g.11186623.0.0.34f51bb55cpASD#section-74o-7xb-8rg 。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/575135

问题五：请教个大数据计算MaxCompute问题，有什么方法可以解决这个问题呢?

请教个大数据计算MaxCompute问题，我们在使用pyodps进行数据处理与机器学习建模，当遇到数据量较大时，to_pandas操作会导致很慢，有什么方法可以解决这个问题呢?

参考答案：

可以试试 maxframe

https://help.aliyun.com/zh/maxcompute/user-guide/maxframe-overview-1?spm=a2c4g.11186623.0.0.4e6c2783h0HEiW ，

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/574969