开源大数据分析实验(3)——简单用户画像分析之配置数据质量监控

简介: 本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。

1.进入表ods_log_info_d的监控规则页面。

在Chromium网页浏览器中,切换至数据开发页签。单击左上方image.png图标,选择全部产品>数据治理>数据质量。

image.png

在左侧导航栏中,选择规则配置>按表配置。

image.png

在按表配置页面,单击ods_log_info_d表后的配置监控规则。

image.png

2.配置表ods_log_info_d的监控规则。

在分区表达式模块,单击如下图标。

image.png

在添加分区对话框中,分区表达式选择dt=$[yyyymmdd-1],单击确认。

image.png

在表ods_log_info_d的监控规则页面,单击创建规则。

image.png

在创建规则面板中,选择模板规则>添加监控规则。

image.png

在创建规则面板中,根据如下配置相关参数,其他配置保持默认,单击批量添加。

参数说明:

规则名称:输入ods_log_info_d表规则。
强弱:选择强。
规则模板:选择表行数,固定值。
比较方式:选择大于。

image.png

返回如下页面,您已成功为ods_log_info_d表添加表规则。

image.png

3. 测试正常调度试跑

在配置表ods_log_info_d的监控规则页面,单击试跑。

image.png

在试跑对话框中,单击试跑。

image.png

在试跑对话框中,单击试跑成功!点击查看试跑结果。

image.png

返回如下页面,您可查看到调度结果是正常的。由于调度数据同步正常,表行数大于0,所以试跑结果显示正常。

image.png

4.测试失败调度试跑

在Chromium网页浏览器中,切换至数据开发页面。在临时查询面板,右键单击临时查询,选择新建节点>ODPS SQL。

image.png

在SQL查询页签,输入如下SQL语句,删除ods_log_info_d表中数据。

truncate table ods_log_info_d partition(dt=${
   
   bdp.system.bizdate});

image.png

返回结果如下,表示您已成功删除删除ods_log_info_d表中数据。

image.png

在Chromium网页浏览器中,切换至数据质量页面,单击试跑。

image.png

在试跑对话框中,单击试跑。

image.png

在试跑对话框中,单击试跑成功!点击查看试跑结果。

image.png

返回如下页面,您可查看到调度结果是红色异常的。由于调度数据同步正常,表行数为0,所以试跑结果显示红色异常。

image.png

相关文章
|
8月前
|
存储 分布式计算 大数据
基于Python大数据的的电商用户行为分析系统
本系统基于Django、Scrapy与Hadoop技术,构建电商用户行为分析平台。通过爬取与处理海量用户数据,实现行为追踪、偏好分析与个性化推荐,助力企业提升营销精准度与用户体验,推动电商智能化发展。
|
8月前
|
机器学习/深度学习 大数据 关系型数据库
基于python大数据的台风灾害分析及预测系统
针对台风灾害预警滞后、精度不足等问题,本研究基于Python与大数据技术,构建多源数据融合的台风预测系统。利用机器学习提升路径与强度预测准确率,结合Django框架实现动态可视化与实时预警,为防灾决策提供科学支持,显著提高应急响应效率,具有重要社会经济价值。
|
8月前
|
机器学习/深度学习 大数据 关系型数据库
基于python大数据的青少年网络使用情况分析及预测系统
本研究基于Python大数据技术,构建青少年网络行为分析系统,旨在破解现有防沉迷模式下用户画像模糊、预警滞后等难题。通过整合多平台亿级数据,运用机器学习实现精准行为预测与实时干预,推动数字治理向“数据驱动”转型,为家庭、学校及政府提供科学决策支持,助力青少年健康上网。
|
8月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
651 0
|
9月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
608 14
|
11月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
381 4
|
11月前
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
477 3
|
10月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
921 0
|
9月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
278 14