开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

想问一下有没有大佬知道,因为ods层数据变更导致计算出的每日统计不对,这个问题有没有解决方案

想问一下有没有大佬知道,因为ods层数据变更导致计算出的每日统计不对,这个问题有没有解决方案

展开
收起
游客242jp2lsd3dac 2023-04-13 14:31:37 879 0
5 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    当ODS层数据变更导致计算出的每日统计不正确时,可能有以下几个原因:

    1. ODS层数据变更导致逻辑出现错误,导致每日统计不正确;
    2. 数据在数据管控中被重跑,导致每日统计维度发生变化或出现重复数据;
    3. 在计算每日统计的过程中,使用的SQL或算法出现了问题,导致统计数据不正确。

    针对这些问题,可以根据具体的情况采取相应的解决方案:

    1. 定位 ODS 层数据变更导致的问题,检查ODS层的数据是否正确。可以通过使用数据开发平台 DataWorks 自带的 O&M Center 进行排查。
    2. 对于在数据管控中被重跑导致数据变化的情况,可以使用去重算法进行处理,避免数据的维度出现变化或重复出现。
    3. 针对使用不当导致的问题,可以通过对计算 SQL 或算法进行修改和优化,改善统计过程中出现的问题。如果需要快速有效地修复问题,可以使用 DataWorks 提供的数据修复功能,将出现错误的数据进行删除或转移。

    此外,为了避免 ODS 层数据变更对每日统计造成的影响,可以在建立数据模型时设置数据血缘,记录数据来源和变更情况,及时更新 ETL 流程,确保数据质量和可靠性。同时,可以使用阿里云提供的数据质量中心 DataQuality,通过事项、标准和规范等方式,对整个数据生命周期的数据质量进行全方位把控和管理,确保数据质量水平。

    2023-04-30 08:04:45
    赞同 展开评论 打赏
  • 值得去的地方都没有捷径

    如果您的 ODS 层数据变更导致计算出的每日统计不正确,可以考虑以下几个方面:

    确认数据变更的原因:首先需要确定数据变更的原因,是因为数据源的数据发生了变化,还是因为计算逻辑的问题导致的。如果是因为数据源的数据发生了变化,需要及时更新计算逻辑以适应新的数据源;如果是因为计算逻辑的问题,需要检查计算逻辑是否正确,并及时修复。

    数据质量监控:建立数据质量监控体系,及时发现数据质量问题,包括数据源的数据变化、数据异常等,从而及时采取措施进行修复。

    数据版本管理:建立数据版本管理机制,对数据进行版本管理,记录每次数据变更的情况,从而可以及时发现数据变更对计算结果的影响,并进行相应的处理。

    数据重构:如果数据变更导致计算结果不正确,可以考虑对数据进行重构,重新设计计算逻辑,以适应新的数据源和业务需求。

    需要注意的是,以上方案需要根据具体情况进行选择和实施,建议您根据实际情况进行分析和处理。同时,建议建立完善的数据管理和质量监控机制,确保数据的准确性和稳定性。

    2023-04-15 11:38:07
    赞同 展开评论 打赏
  • 检查ODS层数据变更的原因,以及对应的计算逻辑是否正确。如果数据变更导致计算结果不正确,您可以尝试重新设计计算逻辑,或者对数据进行清洗和处理,以确保计算结果的准确性。

    2023-04-14 08:33:15
    赞同 展开评论 打赏
  • 先确认 ODS 层数据变更的原因。如果 ODS 层数据发生了变更,可能会导致计算出的每日统计不准确。您可以查看数据变更的日志记录,了解变更的内容和原因。

    2023-04-13 21:11:19
    赞同 展开评论 打赏
  • 如果统计口径需要退到支付日期。 那这个数据是一个长期变化的值 特别是订单没有生命周期的情况下,A+B的方式非常复杂, 一种方式就是拉链 做统计的是时候过滤最新状态 一种方式是 直接在dws做全量日汇总的计算 牺牲点计算资源。在不是非常大的数据的情况下这种方式可以试试 ,如果仅仅是按自然日做支付和退款统计 可以直接分开计算 做A-B的方式此回答整理自钉群DataWorks交流群(答疑@机器人)

    2023-04-13 14:33:12
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载