问题一:MaxCompute 的 spark 能读 odps 的 resource 资源吗
MaxCompute 的 spark 能读 odps 的 resource 资源吗
参考回答:
是的,MaxCompute 的 Spark 可以读取 ODPi(开源数据平台联盟)认证的资源,包括 ODPS。为此,MaxCompute 提供了一个 ODPi 认证的数据源连接器,可以将 ODPS 作为一个数据源连接到 Spark 中。此外,MaxCompute 还提供了一些 Spark 操作的客户端库和工具,可以方便地在 Spark 中操作 MaxCompute 数据。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/441109?spm=a2c6h.14164896.0.0.b77732e9if5g2K
问题二:MaxCompute项目的调度资源怎么删除
MaxCompute项目的调度资源怎么删除。
参考回答:
暂不支持,不过很快开放了。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/111291?spm=a2c6h.14164896.0.0.314932e9RRbJYv
问题三:MaxCompute Studio中删除资源的步骤是什么?
MaxCompute Studio中删除资源的步骤是什么?
参考回答:
MaxCompute Studio中删除资源的步骤是:
1、在IntelliJ IDEA界面的左侧导航栏,单击Project Explorer,在目标MaxCompute项目的Resources下,右键单击需要删除的资源,选择Delete resource from server。
2、在Confirmation Required对话框,单击OK,即可从MaxCompute项目中删除资源。
3、右键单击目标MaxCompute项目下的Resources,选择Refresh meta更新信息后,列表中将无法查看到删除的资源。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/378419?spm=a2c6h.14164896.0.0.314932e9RRbJYv
问题四:MaxCompute Spark中Driver Cores资源参数如何调优?
MaxCompute Spark中Driver Cores资源参数如何调优?
参考回答:
Driver Cores
相关参数spark.driver.cores
通常Driver Cores不需要太大,但是如果任务较为复杂(如Stage及Task数量过多)或者Executor数量过多(Driver需要与每个Executor通信并保持心跳),在Sensor中看到Cpu利用率非常高,那么可能需要适当调大Driver Cores
另外要注意,在Yarn-Cluster模式运行Spark任务,不能直接在代码中设置Driver的资源配置(core/memory),因为在JVM启动时就需要该参数,因此需要通过--driver-memory命令行选项或在spark-defaults.conf文件/Dataworks配置项中进行设置。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/380971?spm=a2c6h.14164896.0.0.6cba32e9tRHf5f
问题五:MaxCompute管家中的资源概览页功能是什么?
MaxCompute管家中的资源概览页功能是什么?
参考回答:
MaxCompute管家中的资源概览页功能:
资源概览页用来展示用户对应的”包年包月“付费模式下的整体CU使用量、CU资源使用趋势、存储资源使用趋势,方便用户更快速、更便捷的了解当前的资源使用情况
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/380291?spm=a2c6h.14164896.0.0.6cba32e9tRHf5f