问题一:在DataWorks上使用PyODPS使用限制是什么?
在DataWorks上使用PyODPS使用限制是什么?
参考回答:
在PyODPS节点中调用第三方包https://help.aliyun.com/zh/dataworks/use-cases/use-a-pyodps-node-to-reference-a-third-party-package?spm=a2c4g.11186623.0.i322
使用限制
在PyODPS节点中调用第三方包仅支持使用独享调度资源组。创建及使用独享调度资源组,详情请参见独享调度资源组。
DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB,该操作受限于DataWorks执行资源的不同规格(包括公共调度资源组和独享调度资源组),处理的本地数据过多并超出操作系统阈值时可能发生OOM(Got killed)错误。请避免在PyODPS节点中写入过多的数据处理代码。详情请参见高效使用PyODPS最佳实践。
如果您发现有Got killed报错,即表明内存使用超限,进程被中止。因此,请尽量避免本地的数据操作。通过PyODPS发起的SQL和DataFrame任务(除to_pandas外)不受此限制。
非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。
由于兼容性原因,在DataWorks中,options.tunnel.use_instance_tunnel默认设置为False。如果需要全局开启instance tunnel,需要手动将该值设置为True。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571149
问题二:DataWorks在PyODPS节点中调用第三方包依赖开源的三方包?
DataWorks在PyODPS节点中调用第三方包依赖开源的三方包?
参考回答:
是的,DataWorks在PyODPS节点中调用第三方包时,需要依赖开源的三方包。这些三方包通常包括数据处理、分析、可视化等工具,如NumPy、Pandas、Matplotlib等。在使用这些三方包之前,需要先安装它们,并在代码中导入相应的模块。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571148
问题三:DataWorks如何下载建模工具(DDM)下载建模工具(DDM)?
DataWorks如何下载建模工具(DDM)下载建模工具(DDM)?
参考回答:
在 DataWorks 中下载建模工具(DDM)的具体步骤如下:
- 登录 DataWorks 控制台,选择要下载 DDM 工具的数据源。
- 在数据源页面中,点击“下载”按钮,将会跳转到下载页面。
- 在下载页面中,根据自己的操作系统选择相应的安装包,然后点击“立即下载”按钮即可开始下载 DDM 工具。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571147
问题四:在dataworks中导入python第三方包并在py3脚本中使用该包?
DataWorks如何在不使用运维窗口的情况下,在dataworks中导入python第三方包并在py3脚本中使用该包?
参考回答:
要在 DataWorks 中导入 Python 第三方包并在 Py3 脚本中使用该包,在不使用运维窗口的情况下,可以在 Py3 脚本中直接使用 pip 命令安装。以下是具体步骤:
- 在 DataWorks 的 Py3 脚本中编写安装命令,例如
!pip install pandas
,然后运行脚本来安装 Pandas 包。 - 在安装成功之后,可以在 Py3 脚本中导入 Pandas 包并使用它。
需要注意的是,在不同的环境下,pip 命令可能需要管理员权限才能执行。因此,如果遇到访问受限的情况,请尝试切换至具有更高权限的账号来执行该命令。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571146
问题五:DataWorks中Sql function 怎么样执行一条sql?
DataWorks中Sql function 怎么样执行一条sql?
参考回答:
https://help.aliyun.com/zh/maxcompute/user-guide/create-sql-function?spm=a2c4g.11186623.0.i3
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571145