问题一:dataworks 敏感数据问题,跨境访问场景,如何解决的?
dataworks 敏感数据问题,跨境访问场景,如何解决的?
参考回答:
主要是通过啥访问呢 跨境也是DataWorks访问吗 还是其他客户端 可以先看下数据保护伞脱敏的能力 https://help.aliyun.com/zh/dataworks/user-guide/create-a-data-masking-rule?spm=a2c4g.11186623.0.i2
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/574784
问题二:DataWorks一个计算引擎可以同时挂在两个项目空间上吗?
DataWorks一个计算引擎可以同时挂在两个项目空间上吗?
参考回答:
一个计算引擎仅支持绑定在一个DataWorks工作空间下。https://help.aliyun.com/zh/dataworks/user-guide/associate-and-manage-compute-engines-1?spm=a2c4g.11186623.0.i270
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/574782
问题三:DataWorks中pyodps安装第三方库?
DataWorks中pyodps安装第三方库?
参考回答:
本文为您介绍在依赖普通的Python脚本和开源三方包的场景下,如何使用DataWorks PyODPS节点调用第三方包。https://help.aliyun.com/zh/dataworks/use-cases/use-a-pyodps-node-to-reference-a-third-party-package?spm=a2c4g.11186623.0.i226
使用限制
在PyODPS节点中调用第三方包仅支持使用独享调度资源组。创建及使用独享调度资源组,详情请参见独享调度资源组。
DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB,该操作受限于DataWorks执行资源的不同规格(包括公共调度资源组和独享调度资源组),处理的本地数据过多并超出操作系统阈值时可能发生OOM(Got killed)错误。请避免在PyODPS节点中写入过多的数据处理代码。详情请参见高效使用PyODPS最佳实践。
如果您发现有Got killed报错,即表明内存使用超限,进程被中止。因此,请尽量避免本地的数据操作。通过PyODPS发起的SQL和DataFrame任务(除to_pandas外)不受此限制。
非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。
由于兼容性原因,在DataWorks中,options.tunnel.use_instance_tunnel默认设置为False。如果需要全局开启instance tunnel,需要手动将该值设置为True。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/574781
问题四:DataWorks调度参数是什么?
DataWorks调度参数是什么?
参考回答:
调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数,并以ODPS SQL节点为例,讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换情况。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/574780
问题五:DataWorks小时任务依赖天任务是什么?
DataWorks小时任务依赖天任务是什么?
参考回答:
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/574778