DataWorks自定义规则使用限制是什么?

DataWorks自定义规则使用限制是什么?

展开
收起
真的很搞笑 2023-07-25 18:24:24 95 分享 版权
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    DataWorks 自定义规则是数据质量检测的一种方式,可以通过定义规则,对数据进行自动化的检测和分析,提高数据质量和数据安全性。不过,在使用自定义规则时,需要注意以下几点限制:

    仅适用于标准模式的数据表:DataWorks 自定义规则仅适用于标准模式的数据表,不支持非标准模式的数据表和其他数据存储方式,如 HDFS、OSS 等。

    规则运行频率限制:DataWorks 自定义规则的运行频率受限,无法实时检测数据的变化。默认情况下,规则每天最多运行一次,如果需要更高的检测频率,可以通过增加计算资源或者手动触发规则运行来实现。

    规则的复杂度限制:DataWorks 自定义规则的复杂度受到一定的限制,过于复杂的规则可能会导致规则执行效率低下,甚至无法执行。因此,在定义规则时,需要根据实际情况合理选择规则内容和规则复杂度。

    规则执行结果的限制:DataWorks 自定义规则的执行结果仅限于警告和错误两种类型,无法提供更详细的诊断信息。如果需要对规则执行结果进行更细粒度的记录和分析,可以结合其他数据质量检测工具或者自定义脚本进行实现。

    2023-07-30 16:31:55
    赞同 展开评论
  • 在DataWorks中,自定义规则(Custom Rule)是一种用于数据质量和合规性检查的功能。它允许用户根据自己的需求编写自定义的规则,对数据进行验证和检查,并生成相应的告警或错误信息。

    然而,自定义规则使用时有以下几个限制:

    1. 编写语言:目前DataWorks仅支持使用Java语言编写自定义规则。这意味着你需要熟悉Java编程语言,并且能够按照DataWorks自定义规则的编程规范进行开发。

    2. 规则执行环境:自定义规则运行在DataWorks系统内部的计算节点上,因此你不能直接引入外部依赖库或进行网络操作。只能在规则代码中使用DataWorks提供的API和功能。

    3. 规则函数限制:自定义规则使用一组预定义的函数来执行具体的验证逻辑。这些函数包括字符串处理、数学计算、日期解析等,但并不支持所有的Java标准库函数。在编写规则时,请确保使用的函数在DataWorks文档中有明确的支持说明。

    4. 数据源限制:自定义规则通常针对某个数据表或视图进行验证,因此规则的数据源是固定的。你不能在规则中直接访问其他数据源或跨表进行验证。

    5. 执行频率:自定义规则可以在任务运行时触发,但并不支持实时或持续的验证。规则的执行频率受到任务调度和执行策略的限制。

    6. 规则管理:在DataWorks中,规则的编写、部署和管理都是基于项目空间的权限控制。只有具备相应权限的用户才能创建、编辑和删除规则。

    2023-07-26 21:38:23
    赞同 展开评论
  • 自定义监控规则仅对周期实例生效。电话告警功能可用版本:仅DataWorks专业版及以上版本,才可以使用电话告警功能。WebHook报警功能的使用限制如下:可用版本:仅DataWorks企业版及旗舰版支持使用WebHook功能。可用地域:仅欧洲中部 1(法兰克福)、亚太东南1(新加坡)地域支持自定义规则和基线使用WebHook功能报警。可用格式:DataWorks仅支持使用WebHook功能推送报警信息至企业微信或飞书。
    https://help.aliyun.com/document_detail/138172.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-25 18:41:32
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理