开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据质量检验规则中字段级最大值,1、7、30天波动率,如果该表为月分区表且每日调?

DataWorks数据质量检验规则中字段级最大值,1、7、30天波动率,如果该表为月分区表且每日调度,其相比较的周期数据是哪个周期的呢?

展开
收起
真的很搞笑 2023-06-17 13:31:08 111 0
2 条回答
写回答
取消 提交回答
  • 假设您正在考虑在DataWorks中创建数据质量检验规则,以检查字段级最大值、1、7、30天波动率,并且您希望该表以月分区形式存在,并在每天进行调整。下面是一些可能适用于此情况的规则示例:

    字段级最大值:

    css SELECT MAX(column_name) AS max_value FROM table_name; 您可以根据需要替换column_name和table_name。此查询将返回该列的最大值。 2. 1、7、30天波动率:

    sql SELECT AVG(column_name) OVER (ORDER BY date_column ASC ROWS BETWEEN 1 PRECEDING AND CURRENT ROW) AS one_day_波动率,
    AVG(column_name) OVER (ORDER BY date_column ASC ROWS BETWEEN 7 PRECEDING AND CURRENT ROW) AS seven_day_波动率,
    AVG(column_name) OVER (ORDER BY date_column ASC ROWS BETWEEN 30 PRECEDING AND CURRENT ROW) AS thirty_day_波动率
    FROM table_name; 您可以根据需要替换column_name和date_column。此查询将返回每个日期上的1天、7天和30天波动率。

    请注意,如果您的表以月分区形式存在,则可以在查询中添加过滤条件以仅计算每个月份的波动率。此外,如果您希望每天进行调整,则可以将上述查询作为每天运行的作业任务,并使用DataWorks的规则引擎来检测波动率是否超出阈值。

    2023-06-17 20:34:11
    赞同 展开评论 打赏
  • 全栈JAVA领域创作者

    如果该表为月分区表且每日调度,数据质量检验规则中的1、7、30天波动率相比较的周期数据应该是上一个月的同一时间段内的数据。例如,在6月份进行数据质量检验时,1、7、30天波动率的参考数据将是5月份同一时间段内的数据。这样可以确保数据质量检验的结果具有可比性和准确性。

    2023-06-17 18:56:04
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多