问题一:大数据计算MaxCompute我要设置其它的环境参数可以吗?
大数据计算MaxCompute我要设置其它的环境参数可以吗?比如我自定义一个XXXX的,把他值设置为其它的加密内容,比如密码
参考答案:
对于MaxCompute,您可以设置自定义的环境变量以满足特定的需求。除了支持在Session级设置MaxCompute系统变量之外,您还可以设置一些特定的环境参数,比如Java和Spark的环境变量。然而,请注意,出于安全考虑,避免将敏感信息(如密码)直接存储在环境变量中。如果您需要存储加密内容,建议使用更安全的方式来管理这些敏感信息。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/566615
问题二:大数据计算MaxCompute去哪里设置这俩参数的值Jx?在dataworks哪个界面吗?
大数据计算MaxCompute去哪里设置这俩参数的值Jx?在dataworks哪个界面吗?我需要把她的值换成其它的,我怎么弄?
参考答案:
DataWorks上不用设置。换一个账号执行PyODPS任务,登录换账号,执行PyODPS任务
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/566614
问题三:请问下大数据计算MaxCompute有知道这个怎么设置了吗?
请问下大数据计算MaxCompute有知道这个怎么设置了吗?
参考答案:
PyODPS的环境变量,本地跑需要设置,DataWorks的PyODPS节点上不需要;
本地跑就是普通的环境变量设置方式就可以;
DataWorks上跑可以直接用:https://help.aliyun.com/zh/maxcompute/user-guide/use-pyodps-in-dataworks#section-rfp-skg-cfb
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/566613
问题四:大数据计算MaxCompute这个帮忙看看,单个instance只有8MB数据,要怎么优化?
大数据计算MaxCompute这个帮忙看看,单个instance只有8MB数据,要怎么优化? MaxCompute https://logview.aliyun.com/logview/?h=http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api&p=bigdata_poc_zj&i=20231102040725187gnyyjyb1f3k&token=cVMxWHcyRXI1S2lzNWhmNGpaTzdGakFoM3BVPSxPRFBTX09CTzpwNF8yMDM0NjAwOTM5NjkyNzgyNjksMTcwMTQ5MDA0NSx7IlN0YXRlbWVudCI6W3siQWN0aW9uIjpbIm9kcHM6UmVhZCJdLCJFZmZlY3QiOiJBbGxvdyIsIlJlc291cmNlIjpbImFjczpvZHBzOio6cHJvamVjdHMvYmlnZGF0YV9wb2NfemovaW5zdGFuY2VzLzIwMjMxMTAyMDQwNzI1MTg3Z255eWp5YjFmM2siXX1dLCJWZXJzaW9uIjoiMSJ9
参考答案:
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/566612
问题五:我在做一些大数据计算MaxCompute怎么去有效控制mapper instance数量来提升性能?
我在做一些大数据计算MaxCompute的性能优化,发现mapper instance在不同的数据量、数据大小下变化比较大,也没发现有啥必然联系。所以就想问问,怎么去有效控制mapper instance数量来提升性能?这些参数每一个都设置到最大 会不会有什么问题或者限制?
参考答案:
没有一定可以控制mapper数量的方式,目前MaxCompute侧可以通过这两个参数间接控制一下,达到优化SQL的目的。参数设置的太大我理解会对任务有影响,一般需要针对具体任务调一调。不建议直接调最大
关于本问题的更多回答可点击进行查看: