去噪管理中期望值的样本值和基准值去噪的具体含义和案例?

去噪管理中期望值的样本值和基准值去噪的具体含义和案例?

展开
收起
芯在这 2023-04-19 23:54:42 181 分享 版权
2 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在阿里云DataWorks去噪管理中,期望值的样本值是指在特定时间范围内,对样本数据进行统计或预测,得出的期望值。例如,对于一个电商网站,我们可以根据过去几个月的销售数据,预测下一个月的销售额期望值。该期望值就是我们的样本值。

    而基准值则是指已知的标准值,通常是由业务需求、规则和业务专家提供的。基准值通常作为期望值去噪的依据,以检查期望值是否存在异常值或过多的波动。

    去噪管理是DataWorks提供的一种自动化的数据清洗功能。它可以根据您提供的期望值和基准值,自动识别和清洗数据中的异常值、噪声和离群点,使数据更加准确和可靠。

    例如,对于一个线上商城,基于用户购物行为数据分析用户对某一件商品的购买概率。期望值的样本值可以是商品的历史销售数据,而基准值则可以是商城在过去几个月的销售数据。系统根据样本值和基准值去噪,以获得更加准确的商品购买概率数据。这样可以帮助商城更好地进行库存和运营管理。

    2023-04-30 23:53:12
    赞同 展开评论
    • 样本值去噪:对指定时间内样本数据进行数据质量校验时,如果校验异常,且需要不阻塞任务运行,则可选择此功能,即上述业务时间数据不符合预期时,不会阻塞任务。

    • 基准值去噪:当数据作为基准值,在一段时间内该基准值数据不符合预期,且需要不阻塞后续一段时间内的数据质量校验,可选择此功能。即上述业务时间的数据作为基准值校验不符合预期时,不阻塞后续任务运行。

    image.png

    2023-04-20 08:21:24
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理