DataWorks跑uv可以加什么参数可以优化下吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks跑UV时,可以考虑以下优化参数:
在 DataWorks 中,您可以根据您的实际需求和运行环境,对 UV 进行优化。以下是一些常用的技术手段:
在DataWorks数据开发中,您可以使用调度参数来优化运行UV的任务。调度参数允许您根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。
首先,您需要在代码中定义变量,并在"调度配置 > 参数"界面,通过调度参数表达式为代码中的变量赋值。例如,${bdp.system.cyctime}定义为一个实例的定时运行时间,而${bdp.system.bizdate}定义为一个实例运行时对应的业务日期。此外,部分节点的调度参数配置存在差异,例如,通用Shell节点中的变量只能以$1、$2、$3...命名。
然后,您可以使用冒烟测试功能来测试调度参数的替换情况。这是为了确保配置的调度参数是否符合预期。
最后,请注意运行()与高级运行()功能需手动为代码中的变量赋值常量,因此无法校验配置的调度参数是否符合预期。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。