学习笔记1 - 使用MaxCompute进行数据质量核查-阿里云开发者社区

开发者社区> angelyj> 正文

学习笔记1 - 使用MaxCompute进行数据质量核查

简介: 大数据Clouder:使用MaxCompute进行数据质量核查 数据,数据质量,数据质量管理MaxCompute,DataIDE监控,监控报告 对数据的改善和管理,直接提升数据质量;对组织的改善和管理,间接提升数据质量。
+关注继续查看

大数据Clouder:使用MaxCompute进行数据质量核查

数据,数据质量,数据质量管理
MaxCompute,DataIDE
监控,监控报告

对数据的改善和管理,直接提升数据质量;
对组织的改善和管理,间接提升数据质量。

数据质量影响因素:①需求过程引发,②数据源引发,③统计口径引发,④系统自身引发。
数据质量问题类型:①错误值,②重复值,③数据不一致,④数据完整性,⑤缺失值,⑥异常值。

MaxCompute,大数据开发工具:
①DataIDE:可视化形式。
②Studio客户端,③odpscmd客户端:都是命令行形式。

数据产生:阿里云的RDS。
数据收集与存储:DataIDE数据同步组件,从RDS中同步到MaxCompute中。
数据分析与处理:DataIDE中的任务ODPS_SQL和OPEN_MR。
数据提取:DataIDE。
数据展现与分享:Quick BI。

注意:将本地数据上传导入到MaxCompute,如果数据文件大于10M,DataIDE就上传不了了,这时就需要使用odpscmd客户端提供的Tunnel命令方式进行上传。
Tunnel命令操作 :https://help.aliyun.com/document_detail/27833.html?spm=5176.11065259.1996646101.searchclickresult.6de53dbcRY6DwC

DataIDE:数据开发(任务开发,脚本开发),运维中心(任务列表,任务运维,报警)。
任务开发:需要周期调度的,加工逻辑复杂的,需要多个步骤进行数据处理的。注意:任务开发中的调度任务生成实例的时间。
脚本开发:一次性的,临时数据操作,比如:建个表,插入个数据等 。

任务解决方案:开通MC服务并搭建开发环境,实验数据准备,配置数据质量核查规则,数据质量监控规则导入MC,通过MC实现数据质量监控,配置MC程序调度,配置程序调度邮件、短信告警。

查看监控报告。

1

2

对应的沙箱实验笔记

网址:https://edu.aliyun.com/lab/courses/1fb17df91d3648c781c30cd877bcaeb8/detail?purchaseRecordId=f0f34cd5a0fc48829231e8006960644b
实验环境:DataWorks->项目->进入工作区->IDE页面。
实验步骤:
1、数据准备上传到MC中:建表“ODS_EBUSI_xxx”->导入本地数据,上传数据到MaxCompute中。
注意:首行为标题,默认为是。
查询语句:
select * from ODS_EBUSI_xxx;
select count(*) from ODS_EBUSI_xxx;
2、编写数据监控规则:写入到excel或txt中。注意:要保证txt文件为utf8格式。
(1)规则模板对应的各类内容:
①核查规则类型名称:监控类别编码对应的监控规则名称(1:错误值;2:重复值;3:数据不一致;4:数据完整性;5:缺失值;6:异常值)。
②状态:1:本条监控规则有效;0:本条监控规则已失效,或不再进行监控。
(2)监控场景:
①订单表内订单时间格式出错。
②订单表同一客户同一时间下了多次订单。
③客户信息表省份信息异常。
④配送的订单在订单表中不存在。
⑤客户信息表性别信息缺失。
⑥同客户单月购买次数异常(当月购买次数大于10次)。
注意:在MaxCompute控制台中导入一个txt文件,要保证txt文件为utf8格式,如果不是,可以用记事本打开文件,单击另存为,将其保存为utf8格式。
https://help.aliyun.com/knowledge_detail/40360.html?spm=5176.11065259.1996646101.searchclickresult.242b49d5HssL3O
3、将监控规则导入到MC中:建表“ODS_DATA_CHECK_RULE”->导入监控规则excel或txt文件。注意:分隔符配置。查询语句:
select * from ODS_DATA_CHECK_RULE;
select count(*) from ODS_DATA_CHECK_RULE;
4、数据质量监控:
①建表“DWD_DATA_CHECK_REPORT”->用于保存最终的监控报告。
②新建任务->任务类型:工作流任务,名称:DATA_CHECK_数据质量监控,调度类型:周期调度。
③选择节点组件->在编辑页面写入sql,并配置好参数,保存后返回。
虚节点:从左侧节点组件中,拖取一个虚节点至右侧空白处,命名:程序开始,执行结束。
ODPS_SQL:将左侧ODPS_SQL控件,拖至右侧空白处,命名。双击该节点组件,进入编辑界面,写入建表sql语句,配置参数,保存后返回。注意:此时不需要点击运行。
④按照顺序,将各个执行空间连接起来。所有连接完成后,点击保存,点击提交,确定提交。
⑤测试运行->点击测试运行,填写实例名称和业务日期,点击运行,点击前往运维中心,进行监控。
⑥查看最终的监控报告内容,查看语句:注意:分区表查询。
set odps.sql.allow.fullscan=true;
select * from dwd_data_check_report;
set odps.sql.allow.fullscan=true;
select CHECK_RULE_ID,CHECK_RULE_NAME,CHECK_RULE_OWNER,WARNING_CONTENT from DWD_DATA_CHECK_REPORT;
5、配置MC调度:点击调度配置->基本属性,调度属性,依赖属性,跨周期依赖->配置完成。运维中心查看->周期任务,周期实例。
注意:配置完成后,第二天调度才会生效。在23:30之后提交成功的任务,从第三天开始才会生成实例。
6、配置邮件和短信告警:运维中心->报警设置->新建报警->选择任务、报警原因、报警方式、接收人。

3

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【HEVC学习与研究】44、HEVC量化系数的解析——反量化过程
【同其他模块一样,HEVC标准文档中只实现了反量化过程,量化过程交由编码器实现。这样可使得编码器采用如自适应量化AQ、率失真优化量化RDOQ等更优的量化方法。
1618 0
Excel中添加并使用宏实现批量更新数据
一、状况描述    当我们需要后台更新大量数据的时候,可以使用该功能。二、解決方案    (1)新建一个Excel文件,并另存为启用宏的Excel工作簿,扩展名为.xlsm。    (2)在Excel中添加按钮。
1125 0
使用MaxCompute进行纽约的士拼车分析
我们通过将纽约的士的时空数据转换成为图的方法,使用odps自带的graph分析工具来进行拼车分析。
2874 0
SAS学习笔记之《SAS编程与数据挖掘商业案例》(3)变量操作、观测值操作、SAS数据集管理
SAS学习笔记之《SAS编程与数据挖掘商业案例》(3)变量操作、观测值操作、SAS数据集管理 1. SAS变量操作的常用语句 ASSIGNMENT 创建或修改变量 SUM 累加变量或表达式 KEEP 规定在数据集中保留的变量 DROP 规定在数据集中删除的变量 ARRAY 定义一个数组 RENAME
1432 0
+关注
2
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载