基于DataWorks+MaxCompute的员工配送业务绩效考核分析

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 基于DataWorks+MaxCompute的员工配送业务绩效考核分析

实验内容:

通过DataWorks对MaxCompute数仓中的派送订单数据进行分析,得到配送员的客户好评排行。


实验思路:

1、通过DataWorks将CSV文件数据同步到MaxCompute。

2、对数据进行分析得到结果。


实验目的:

通过本实验让学员掌握使用DataWorks同步本地数据到MaxCompute的方法,学习到以下知识点:
1、掌握使用DataWorks同步本地数据到MaxCompute的方法;

2、掌握使用DataWorks对MaxCompute数据进行分析的方法;

3、掌握DataWorks电子表格的使用方法。


实验步骤:

搜索框输入DataWorks,在搜索结果中点击大数据开发治理平台DataWorks,进入DataWorks控制台。

image.png

image.png

DataWorks上传的默认数据源为CSV文件,实验前需要先下载CSV文件。

https://university-labfileapp.oss-cn-hangzhou.aliyuncs.com/%E5%AE%8F%E9%B9%8F--%E5%A4%A7%E6%95%B0%E6%8D%AEACA/order_buy_list.csv

image.png

点击上传文件

image.png

DataWorks会自动解析上传的CSV数据,将number和mark类型设置为BIGINT属性,后面会对这两个字段进行统计处理,只有数值类型才可以统计。

image.png

点击【提交】将数据保存到 MaxCompute 数仓。

image.png

如下图所示,自动生成了一个临时文件,并自动生成了刚刚创建的 order_list 的 SQL语句

image.png

在 SQL 查询编辑页面临时文件中,删除上一步自动生成的 SQL 语句,输入以下 SQL 语句(保持sql产品名一致):

SELECT DISTINCT a.staffid
,a.dlivery
,(
SELECT sum(number) FROM u_vqdin61q_1696322645.order_list WHERE staffid = a.staffid
) AS total
,(
SELECT sum(mark) FROM u_vqdin61q_1696322645.order_list WHERE staffid = a.staffid
) AS credit
FROM u_vqdin61q_1696322645.order_list AS a
;
// DISTINCT 的语法,意思是过滤重复的数据,DISTINCT 字段名,代表过滤该字段名下的重复数据。
// SUM(字段名) 是统计、合计的语法,将该字段名下的所有数值相加
// AS 可以理解为重命名的意思,将表的名称重新命名。

image.png

点击按钮进入 DataWorks【电子表格】功能页面。

image.png

image.png

配送订单量排序,点击 total 字段右侧的向下箭头按钮

降序效果如下图所示,可以看出田永峰的送单量最多

image.png

好评分数排序,点击 credit 字段右侧的向下箭头按钮

效果如下图所示,可以看出张志勇的客户好评最高

image.png

统计好评率

统计出员工的客户好评率,客户分数除以订单数量

在最右侧增加一列,字段名为 percent。点击最右侧对应的空白列执行以下操作:在空白处输入=号,鼠标先点击左侧‘张志勇’的 credit 对应列,出现=D6,输入/,代表相除的意思,然后点击‘张志勇’的 total 对应列,会出现=D6/C6,然后按下回车键,会出现对应的比例值。

image.png

image.png

最后通过分析翟红良的好评率最高,其次为刘浩。


实验总结:

本次实验通过DataWorks将本地配送订单数据同步到MaxCompute数仓,然后用SQL对数据进行分析得到客户对员工的好评率。

实验使用了DataWorks的数据上传和电子表格功能,同时体验到了通过电子表格直接分析结果数据的便捷性。

相关实践学习
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
17小时前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之ODPS Spark找不到自己的stdout,该如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
9 2
|
2天前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之将多业务分表同步到odps的一个三级分区表中,每级分区怎么赋值
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
15 4
|
2天前
|
分布式计算 DataWorks API
DataWorks操作报错合集之在将ODPS空间设置成保护模式后,导出到OSS的任务出现了权限问题,该怎么解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
9 1
|
2天前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之提示add odps.sql.text.schema.mismatch.mode,该如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
11 1
|
19小时前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之两个odps数据源绑定了同一个项目, 如何看另外一个数据源的同步数据
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
4 0
|
20小时前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之ODPS离线同步如何添加过滤条件
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
5 0
|
23小时前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之同是上海区域,poldb-odps的同步为什么打开不一样
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
6 0
|
1天前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之odps如何使用正则表达式匹配字段的内容
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
8 0
|
2天前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之错误提示“ODPS-0130161: Parse exception - invalid token 'WITH', expect 'SEMICOLON'”,该怎么办
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
9 0
|
2天前
|
分布式计算 DataWorks 调度
DataWorks操作报错合集之提示 FAILED: com.aliyun.odps.meta.exception.MetaException,是什么原因
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
7 0