开源大数据分析实验(3)——简单用户画像分析之配置数据质量监控

简介: 本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。

1.进入表ods_log_info_d的监控规则页面。

在Chromium网页浏览器中,切换至数据开发页签。单击左上方image.png图标,选择全部产品>数据治理>数据质量。

image.png

在左侧导航栏中,选择规则配置>按表配置。

image.png

在按表配置页面,单击ods_log_info_d表后的配置监控规则。

image.png

2.配置表ods_log_info_d的监控规则。

在分区表达式模块,单击如下图标。

image.png

在添加分区对话框中,分区表达式选择dt=$[yyyymmdd-1],单击确认。

image.png

在表ods_log_info_d的监控规则页面,单击创建规则。

image.png

在创建规则面板中,选择模板规则>添加监控规则。

image.png

在创建规则面板中,根据如下配置相关参数,其他配置保持默认,单击批量添加。

参数说明:

规则名称:输入ods_log_info_d表规则。
强弱:选择强。
规则模板:选择表行数,固定值。
比较方式:选择大于。

image.png

返回如下页面,您已成功为ods_log_info_d表添加表规则。

image.png

3. 测试正常调度试跑

在配置表ods_log_info_d的监控规则页面,单击试跑。

image.png

在试跑对话框中,单击试跑。

image.png

在试跑对话框中,单击试跑成功!点击查看试跑结果。

image.png

返回如下页面,您可查看到调度结果是正常的。由于调度数据同步正常,表行数大于0,所以试跑结果显示正常。

image.png

4.测试失败调度试跑

在Chromium网页浏览器中,切换至数据开发页面。在临时查询面板,右键单击临时查询,选择新建节点>ODPS SQL。

image.png

在SQL查询页签,输入如下SQL语句,删除ods_log_info_d表中数据。

truncate table ods_log_info_d partition(dt=${
   
   bdp.system.bizdate});

image.png

返回结果如下,表示您已成功删除删除ods_log_info_d表中数据。

image.png

在Chromium网页浏览器中,切换至数据质量页面,单击试跑。

image.png

在试跑对话框中,单击试跑。

image.png

在试跑对话框中,单击试跑成功!点击查看试跑结果。

image.png

返回如下页面,您可查看到调度结果是红色异常的。由于调度数据同步正常,表行数为0,所以试跑结果显示红色异常。

image.png

相关文章
|
7月前
|
存储 分布式计算 大数据
基于Python大数据的的电商用户行为分析系统
本系统基于Django、Scrapy与Hadoop技术,构建电商用户行为分析平台。通过爬取与处理海量用户数据,实现行为追踪、偏好分析与个性化推荐,助力企业提升营销精准度与用户体验,推动电商智能化发展。
|
8月前
|
数据可视化 搜索推荐 大数据
基于python大数据的北京旅游可视化及分析系统
本文深入探讨智慧旅游系统的背景、意义及研究现状,分析其在旅游业中的作用与发展潜力,介绍平台架构、技术创新、数据挖掘与服务优化等核心内容,并展示系统实现界面。
|
9月前
|
数据采集 人工智能 分布式计算
ODPS在AI时代的发展战略与技术演进分析报告
ODPS(现MaxCompute)历经十五年发展,从分布式计算平台演进为AI时代的数据基础设施,以超大规模处理、多模态融合与Data+AI协同为核心竞争力,支撑大模型训练与实时分析等前沿场景,助力企业实现数据驱动与智能化转型。
603 4
|
9月前
|
JSON 大数据 API
巧用苏宁易购 API,精准分析苏宁易购家电销售大数据
在数据驱动的电商时代,精准分析销售数据能助力企业优化库存、提升营销效果。本文详解如何利用苏宁易购API获取家电销售数据,结合Python进行数据清洗与统计分析,实现销量预测与洞察提取,帮助企业降本增效。
309 0
|
10月前
|
消息中间件 NoSQL 数据可视化
数据说了算,可你得“听得快”——聊聊大数据里的实时分析
数据说了算,可你得“听得快”——聊聊大数据里的实时分析
278 2
|
8月前
|
存储 SQL 分布式计算
终于!大数据分析不用再“又要快又要省钱”二选一了!Dataphin新功能太香了!
Dataphin推出查询加速新功能,支持用StarRocks等引擎直连MaxCompute或Hadoop查原始数据,无需同步、秒级响应。数据只存一份,省成本、提效率,权限统一管理,打破“又要快又要省”的不可能三角,助力企业实现分析自由。
419 49
|
7月前
|
机器学习/深度学习 大数据 关系型数据库
基于python大数据的台风灾害分析及预测系统
针对台风灾害预警滞后、精度不足等问题,本研究基于Python与大数据技术,构建多源数据融合的台风预测系统。利用机器学习提升路径与强度预测准确率,结合Django框架实现动态可视化与实时预警,为防灾决策提供科学支持,显著提高应急响应效率,具有重要社会经济价值。
|
7月前
|
机器学习/深度学习 大数据 关系型数据库
基于python大数据的青少年网络使用情况分析及预测系统
本研究基于Python大数据技术,构建青少年网络行为分析系统,旨在破解现有防沉迷模式下用户画像模糊、预警滞后等难题。通过整合多平台亿级数据,运用机器学习实现精准行为预测与实时干预,推动数字治理向“数据驱动”转型,为家庭、学校及政府提供科学决策支持,助力青少年健康上网。
|
8月前
|
数据采集 数据可视化 关系型数据库
基于python大数据的电影数据可视化分析系统
电影分析与可视化平台顺应电影产业数字化趋势,整合大数据处理、人工智能与Web技术,实现电影数据的采集、分析与可视化展示。平台支持票房、评分、观众行为等多维度分析,助力行业洞察与决策,同时提供互动界面,增强观众对电影文化的理解。技术上依托Python、MySQL、Flask、HTML等构建,融合数据采集与AI分析,提升电影行业的数据应用能力。