问题一:大数据计算MaxCompute文件个数是20个,所以mapper的个数最多是20,只能少 不能多么?
大数据计算MaxCompute文件个数是20个,所以mapper的个数最多是20,只能少 ,不能多么?
参考答案:
odps.stage.mapper.split.size小一点,odps.stage.mapper.mem大一点实时.odps.stage.mapper.split.size 默认就是256,设置成128试下吧
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/570838
问题二:大数据计算MaxCompute读取外部表速度非常慢,有什么方法可以提升效率么?
大数据计算MaxCompute读取外部表(数据在oss gz压缩)速度非常慢,有什么方法可以提升效率么?
参考答案:
那有没有其他的可以筛选的列了,设置个条件,一部分一部分的写入,看一下时间。数据量大的话时间是会多一些
可以把这里的worker调多一些,没办法直接设置数量,可以通过odps.stage.mapper.mem和odps.stage.mapper.split.size间接控制一下,可以参考这个文档配置:https://help.aliyun.com/zh/maxcompute/user-guide/flag-parameters?spm=a2c4g.11186623.0.i50#concept-2278178
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/570837
问题三:大数据计算MaxCompute怎么看项目和工作空间的关联啊?
大数据计算MaxCompute怎么看项目和工作空间的关联啊?
参考答案:
在MaxCompute中,项目和工作空间是密切相关的两个概念。具体来说,项目是MaxCompute的逻辑隔离单位,它包含数据表、函数、资源等相关对象。而工作空间则是在MaxCompute控制台上操作的对象。
如果你想查看某个项目和工作空间之间的关联关系,你可以通过以下几个步骤来实现:
- 登录MaxCompute控制台,选择你需要查看的项目。
- 在左侧导航栏中找到“工作空间”,并点击进入。
- 在工作空间页面中,你可以看到该工作空间下的所有项目。
需要注意的是,每个工作空间都可能包含多个项目,因此一个项目可以在多个工作空间中存在。同时,不同的工作空间之间也是独立的,这意味着你在其中一个工作空间中进行的操作不会影响到其他工作空间中的内容。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/570836
问题四:大数据计算MaxCompute这个海外版什么时候可以体验到4.0啊?
大数据计算MaxCompute这个海外版什么时候可以体验到4.0啊?
这一步有具体的代码或者文档吗?
参考答案:
MaxFrame会在12月份对外邀测,感兴趣的话可以先看一下官网的文档:
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/570834
问题五:请问下大数据计算MaxCompute dataworks是否有全局变量?
请问下大数据计算MaxCompute dataworks是否有全局变量,比如我设置today是今天的日期,在每个sql节点里直接调用这个变量就可以,而不需要每个节点都要在调度配置里一个个配呢?
参考答案:
看下流程参数,开发环境需要匹配一下参数值,才能运行。生产环境会根据你的配置默认执行
关于本问题的更多回答可点击进行查看: