问题一:DataWorks为啥没执行?
DataWorks为啥没执行?
参考回答:
点一下运行诊断,任务不运行继续点下上游分析
在周期实例-点开dag图
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/577250
问题二:DataWorks一个关于表权限的问题,怎么批量申请表权限?
DataWorks一个关于表权限的问题,怎么批量申请表权限,因为现在申请表权限数量较多,在选择了超过一定数量(100左右)前端就开始报错了,然后点申请就不管用了。有什么好的方法吗?
参考回答:
没有批量的好办法。
您可通过DataWorks安全中心申请MaxCompute表的查询与操作权限,并在数据地图查看申请记录。
申请表权限
进入表详情页面,单击申请权限。
image.png
说明
如果表被隐藏,则不会显示申请权限按钮。
默认进入新版安全中心的权限申请页面。详情请参见MaxCompute数据访问权限控制。
管理表权限
在数据地图左侧菜单栏,单击我的数据。
在左侧导航栏,单击权限管理。
您可以在权限管理页面申请函数和资源权限,并查看待我审批、申请记录和我已处理的。您可以设置权限有效期,超过申请权限时长时,系统将自动回收该权限。详情请参见查看和管理权限。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/577247
问题三:DataWorks私有云第三方包可以通过pip命令下载吗?
DataWorks私有云第三方包可以通过pip命令下载吗?
参考回答:
在PyODPS节点中调用第三方包仅支持使用独享调度资源组。
使用限制
在PyODPS节点中调用第三方包仅支持使用独享调度资源组。创建及使用独享调度资源组,详情请参见独享调度资源组。
DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB,该操作受限于DataWorks执行资源的不同规格(包括公共调度资源组和独享调度资源组),处理的本地数据过多并超出操作系统阈值时可能发生OOM(Got killed)错误。请避免在PyODPS节点中写入过多的数据处理代码。详情请参见高效使用PyODPS最佳实践。
如果您发现有Got killed报错,即表明内存使用超限,进程被中止。因此,请尽量避免本地的数据操作。通过PyODPS发起的SQL和DataFrame任务(除to_pandas外)不受此限制。
非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。
由于兼容性原因,在DataWorks中,options.tunnel.use_instance_tunnel默认设置为False。如果需要全局开启instance tunnel,需要手动将该值设置为True。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/577246
问题四:DataWorks私有云如何安装python第三方包?
DataWorks私有云如何安装python第三方包?
参考回答:
在DataWorks私有云中安装Python第三方包,首先需要申请独立资源组。然后在独享资源组的运维资源中进行包安装。具体操作如下:
- 新增和使用独享调度资源组:这是在DataWorks中进行Python第三方包安装的前提条件。
- 在独享资源组的运维资源中,使用命令
/home/tops/bin/pip install package-name
来进行包安装。其中,package-name代表你想要安装的第三方包的名称。
此外,DataWorks支持将文本文件、Python代码以及.zip、.tgz、.tar.gz、.tar、.jar等压缩包作为不同类型的资源上传至MaxCompute,在用户自定义函数UDF及MapReduce的运行过程中读取和使用。同时,DataWorks也支持使用自定义python类型的文件作资源引用。这些特性为在DataWorks环境中执行复杂的数据工作流提供了可能。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/577245
问题五:DataWorks调用API创建质量监控规则的时候,这个ID哪里能拿全呀?
DataWorks调用API创建质量监控规则的时候,有个参数“校验器的ID”是必填项,这个ID哪里能拿全呀?
参考回答:
这个哈
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/577244