问题一:DataWorks有什么办法能让任务依赖只依赖本工作空间的节点 ?
DataWorks有什么办法能让任务依赖只依赖本工作空间的节点 ?
参考回答:
迁移助手导入的时候可以配置依赖映射,
看下是否有做对应的映射
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/569627
问题二:如何在dataworks中使用cdh相关功能?
如何在dataworks中使用cdh相关功能?
参考回答:
在DataWorks中使用CDH(Cloudera Distribution of Hadoop)相关功能,首先需要在DataWorks中使用CDH(Cloudera Distribution of Hadoop)相关功能,首先需要将CDH集群与DataWorks进行集成。集成完成后,您可以利用DataWorks的多项服务来操作和管理CDH集群。例如,使用DataWorks的数据地图服务可以采集CDH集群中的Hive数据库、表、字段和分区的元数据,进而实现全局数据检索、元数据详情查看、数据预览以及数据血缘和数据类目管理等功能。
同时,您还可以在DataWorks中使用ODPS SQL节点来进行Hive SQL查询,或者使用DataWorks Studio进行Spark计算等。此外,计算引擎信息界面也支持将CDH计算引擎绑定至DataWorks作为工作空间的引擎实例,以便通过DataWorks来执行该引擎类型的计算任务。
更进一步,如果您有数据保护需求,DataWorks的数据抽样采集器功能可以从CDH Hive表中随机抽取部分数据用于数据保护伞的敏感数据识别。如果您已经在数据保护伞中配置了脱敏规则,那么在进行数据地图表详情页面的数据预览时,命中的敏感字段将会被脱敏。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/569626
问题三:dataworks使用PROCEDURE的方法是什么?
dataworks使用PROCEDURE的方法是什么?
参考回答:
在DataWorks中,你可以使用SQL语句来调用存储过程(PROCEDURE)。以下是具体的使用方法:
- 登录DataWorks控制台,进入数据开发页面。
- 在左侧导航栏,单击数据管理 > 数据表。
- 在数据表列表中,选择你要操作的数据表,然后点击"更多操作"按钮,选择"新建SQL任务"。
- 在SQL编辑器中,输入以下SQL语句:
CALL your_procedure();
- 请将
your_procedure
替换为你的存储过程名。 - 点击"提交"按钮,等待任务执行完成。
这样,你就可以使用存储过程(PROCEDURE)了。请注意,这只是一个基本的示例,实际使用时,你可能需要根据你的数据和需求进行修改。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/569625
问题四:如果用开源的调度组件取调度dataworks里的sql节点任务会占用dataworks的调度次数吗?
如果用开源的调度组件取调度dataworks里的sql节点任务会占用dataworks的调度次数吗?
参考回答:
公共调度资源组按量付费是按成功的实例数进行收费 如果调的是节点任务还是需要的 运行是在调度的资源上
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/569624
问题五:DataWorks一个任务有多个业务日期的,是不是第一个业务日期下运行失败了,就会一直是未运行状态?
DataWorks一个任务有多个业务日期的,是不是第一个业务日期下运行失败了,其他业务日期的实例就不会运行了,就会一直是未运行状态?比如我同一个任务,都有个日期变量${dt},生成实例的时候指定了10个业务日期,那么第一个业务日期的实例发现少配置,运行失败了,其他的我看一直都是未运行。那么剩下的9个实例是从一开始就不会跑了,还是会接着跑9个接着失败9个?
参考回答:
如果有设置自依赖的情况下 是会导致自己之后的日期也运行不起来
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/569621