DataWorks比如我们在调试的时候写的是${Y} ,格式是比如2023-11-04 当时调试有数据,然后上线的时候假设不小心参数写成了yyyymmdd-1这种,格式就变成了20231104,那么关联出来的表就会没数据,这是背景。刚才发现可以用自定义sql,直接select count(*) from xxx where pt =$[yyyy-mm-dd-1]?我觉得分区没产出数据才是异常的常态? 感觉可以考虑多加一个基础模板,目前需要人为的sql去自定义一个个表去配置
是的,您的想法是正确的。在DataWorks中,可以使用自定义SQL来处理不同格式的数据。您可以使用以下方法来实现这个功能:
SELECT count(*) FROM xxx WHERE pt = $[yyyy-mm-dd-1]
。自定义规则和内置模版执行的逻辑不太一样
不过这个应该还是要从规则自身出错 也需要感知这块优化 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。