开源大数据分析实验(3)——简单用户画像分析之配置数据质量监控

简介: 本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。

1.进入表ods_log_info_d的监控规则页面。

在Chromium网页浏览器中,切换至数据开发页签。单击左上方image.png图标,选择全部产品>数据治理>数据质量。

image.png

在左侧导航栏中,选择规则配置>按表配置。

image.png

在按表配置页面,单击ods_log_info_d表后的配置监控规则。

image.png

2.配置表ods_log_info_d的监控规则。

在分区表达式模块,单击如下图标。

image.png

在添加分区对话框中,分区表达式选择dt=$[yyyymmdd-1],单击确认。

image.png

在表ods_log_info_d的监控规则页面,单击创建规则。

image.png

在创建规则面板中,选择模板规则>添加监控规则。

image.png

在创建规则面板中,根据如下配置相关参数,其他配置保持默认,单击批量添加。

参数说明:

规则名称:输入ods_log_info_d表规则。
强弱:选择强。
规则模板:选择表行数,固定值。
比较方式:选择大于。

image.png

返回如下页面,您已成功为ods_log_info_d表添加表规则。

image.png

3. 测试正常调度试跑

在配置表ods_log_info_d的监控规则页面,单击试跑。

image.png

在试跑对话框中,单击试跑。

image.png

在试跑对话框中,单击试跑成功!点击查看试跑结果。

image.png

返回如下页面,您可查看到调度结果是正常的。由于调度数据同步正常,表行数大于0,所以试跑结果显示正常。

image.png

4.测试失败调度试跑

在Chromium网页浏览器中,切换至数据开发页面。在临时查询面板,右键单击临时查询,选择新建节点>ODPS SQL。

image.png

在SQL查询页签,输入如下SQL语句,删除ods_log_info_d表中数据。

truncate table ods_log_info_d partition(dt=${
   
   bdp.system.bizdate});

image.png

返回结果如下,表示您已成功删除删除ods_log_info_d表中数据。

image.png

在Chromium网页浏览器中,切换至数据质量页面,单击试跑。

image.png

在试跑对话框中,单击试跑。

image.png

在试跑对话框中,单击试跑成功!点击查看试跑结果。

image.png

返回如下页面,您可查看到调度结果是红色异常的。由于调度数据同步正常,表行数为0,所以试跑结果显示红色异常。

image.png

相关文章
|
22天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
1月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
1月前
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
1月前
|
数据采集 运维 数据挖掘
API电商接口大数据分析与数据挖掘 (商品详情店铺)
API接口、数据分析以及数据挖掘在商品详情和店铺相关的应用中,各自扮演着重要的角色。以下是关于它们各自的功能以及如何在商品详情和店铺分析中协同工作的简要说明。
|
2月前
|
SQL 分布式计算 监控
MaxCompute提供了一些工具以帮助您监控作业和资源使用情况。
【2月更文挑战第4天】MaxCompute提供了一些工具以帮助您监控作业和资源使用情况。
27 8
|
2月前
|
SQL 分布式计算 MaxCompute
maxcompute之配置报错如何解决
MaxCompute配置是指在使用阿里云MaxCompute服务时对项目设置、计算资源、存储空间等进行的各项调整;本合集将提供MaxCompute配置的指南和建议,帮助用户根据数据处理需求优化其MaxCompute环境。
35 0
|
16天前
|
机器学习/深度学习 人工智能 安全
Azure Databricks实战:在云上轻松进行大数据分析与AI开发
【4月更文挑战第8天】Databricks在大数据分析和AI开发中表现出色,简化流程并提高效率。文中列举了三个应用场景:数据湖分析、实时流处理和AI机器学习,并阐述了Databricks的一体化平台、云原生弹性及企业级安全优势。博主认为,Databricks提升了研发效能,无缝集成Azure生态,并具有持续创新潜力,是应对大数据挑战和加速AI创新的理想工具。
41 0
|
29天前
|
机器学习/深度学习 人工智能 数据可视化
基于Python的数据可视化技术在大数据分析中的应用
传统的大数据分析往往注重数据处理和计算,然而数据可视化作为一种重要的技术手段,在大数据分析中扮演着至关重要的角色。本文将介绍如何利用Python语言中丰富的数据可视化工具,结合大数据分析,实现更直观、高效的数据展示与分析。
|
1月前
|
存储 NoSQL 大数据
新型数据库技术在大数据分析中的应用与优势探究
随着大数据时代的到来,传统数据库技术已经无法满足海量数据处理的需求。本文将探讨新型数据库技术在大数据分析中的应用情况及其所带来的优势,为读者解析数据库领域的最新发展趋势。
|
1月前
|
SQL 存储 监控
构建端到端的开源现代数据平台
构建端到端的开源现代数据平台
54 4

热门文章

最新文章