开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks是拿昨天的表行数减去今天的表行数吗?

DataWorks是拿昨天的表行数减去今天的表行数吗? 再判断大于0 如果昨天1200条 今天1000条 相减等于200 大于0 会触发告警 是这么理解吧?image.png
image.png

展开
收起
夹心789 2024-05-20 22:37:46 55 0
2 条回答
写回答
取消 提交回答
  • 在 DataWorks 中实现您所描述的逻辑,通常需要通过编写 SQL 脚本、PySpark 脚本或自定义 UDF(用户定义函数)来实现。

    对于您想要实现的逻辑(即计算两个时间点(昨天和今天)的表行数差异,并基于这个差异触发告警),您可以在 DataWorks 中创建一个数据开发任务,该任务执行以下步骤:

    查询昨天和今天的表行数:通过 SQL 查询分别获取昨天和今天表中的记录数。这通常涉及到对表中某个时间戳字段(如创建时间、更新时间等)进行过滤,以分别选出昨天和今天的记录。
    计算差异:在 SQL 脚本中计算这两个数值的差异(即昨天的行数减去今天的行数)。
    判断并触发告警:在 DataWorks 中,虽然直接触发告警的功能可能有限,但您可以通过多种方式来实现这一点。例如,您可以将计算结果写入到一个特定的表或日志中,并使用 DataWorks 的数据质量监控功能来检查这个表或日志中的特定值,从而触发告警。另外,您也可以将结果发送到外部系统(如阿里云云监控、钉钉群等),在那里设置告警规则。
    编写逻辑:如果您的逻辑比较复杂,比如需要根据多个表的数据来计算差异,或者需要处理复杂的业务逻辑,您可能需要编写更复杂的 SQL 脚本或使用 PySpark 等工具。
    调度任务:在 DataWorks 中设置任务的调度规则,确保它每天都能自动执行。
    需要注意的是,直接“拿昨天的表行数减去今天的表行数”可能并不总是有意义,特别是在处理具有频繁插入和删除操作的数据表时。此外,如果表中的数据量非常大,计算表行数可能会非常耗时,这时可能需要考虑更高效的数据统计方法,比如使用数据库的统计信息或增量统计技术。

    最后,关于告警的触发,这通常需要根据您的具体需求和所使用的系统来设置。在 DataWorks 中,您可能需要结合其他阿里云服务(如云监控、钉钉群等)来实现复杂的告警逻辑。

    2024-07-15 13:51:00
    赞同 展开评论 打赏
  • DataWorks并不是直接拿昨天的表行数减去今天的表行数来进行比较。实际上,DataWorks提供了两种常用的数据行数差值指标:“表行数,上周期差值”和“表行数,1天差值”。

    表行数,上周期差值:这是指比较前后两个时期(通常指上周和本周)的数据行数之差。换句话说,它是计算某一时间段(如一周)内表中记录数的变化情况。
    表行数,1天差值:这是指比较前一天和今天的数据行数之差。这个指标可以用来观察每天新增或减少的数据行数的情况。
    在您给出的例子中,如果您使用的是“表行数,1天差值”这个指标,并且设置了告警规则为当差值大于0时触发告警,那么当昨天有1200条记录,而今天只有1000条记录时,差值确实是200(大于0),这将会触发告警。

    但是,这里需要注意的是,通常差值计算是“当前时间段数据行数 - 前一时间段数据行数”。因此,如果今天是1000条,昨天是1200条,那么差值应该是-200,而不是200。但告警规则是当差值大于0时触发,所以在这个例子中,实际上是不会触发告警的。

    总结:

    DataWorks使用“表行数,上周期差值”和“表行数,1天差值”来比较不同时间段的数据行数变化。
    告警规则可以根据这些差值指标来设置,例如当差值大于0时触发告警。
    在您给出的例子中,如果使用的是“表行数,1天差值”并且昨天的记录数多于今天,那么差值将小于0,不会触发告警(基于大于0的告警规则)。

    2024-06-27 15:11:59
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多