基于DataWorks+MaxCompute的员工配送业务绩效考核分析

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 基于DataWorks+MaxCompute的员工配送业务绩效考核分析

实验内容:

通过DataWorks对MaxCompute数仓中的派送订单数据进行分析,得到配送员的客户好评排行。


实验思路:

1、通过DataWorks将CSV文件数据同步到MaxCompute。

2、对数据进行分析得到结果。


实验目的:

通过本实验让学员掌握使用DataWorks同步本地数据到MaxCompute的方法,学习到以下知识点:
1、掌握使用DataWorks同步本地数据到MaxCompute的方法;

2、掌握使用DataWorks对MaxCompute数据进行分析的方法;

3、掌握DataWorks电子表格的使用方法。


实验步骤:

搜索框输入DataWorks,在搜索结果中点击大数据开发治理平台DataWorks,进入DataWorks控制台。

image.png

image.png

DataWorks上传的默认数据源为CSV文件,实验前需要先下载CSV文件。

https://university-labfileapp.oss-cn-hangzhou.aliyuncs.com/%E5%AE%8F%E9%B9%8F--%E5%A4%A7%E6%95%B0%E6%8D%AEACA/order_buy_list.csv

image.png

点击上传文件

image.png

DataWorks会自动解析上传的CSV数据,将number和mark类型设置为BIGINT属性,后面会对这两个字段进行统计处理,只有数值类型才可以统计。

image.png

点击【提交】将数据保存到 MaxCompute 数仓。

image.png

如下图所示,自动生成了一个临时文件,并自动生成了刚刚创建的 order_list 的 SQL语句

image.png

在 SQL 查询编辑页面临时文件中,删除上一步自动生成的 SQL 语句,输入以下 SQL 语句(保持sql产品名一致):

SELECT DISTINCT a.staffid
,a.dlivery
,(
SELECT sum(number) FROM u_vqdin61q_1696322645.order_list WHERE staffid = a.staffid
) AS total
,(
SELECT sum(mark) FROM u_vqdin61q_1696322645.order_list WHERE staffid = a.staffid
) AS credit
FROM u_vqdin61q_1696322645.order_list AS a
;
// DISTINCT 的语法,意思是过滤重复的数据,DISTINCT 字段名,代表过滤该字段名下的重复数据。
// SUM(字段名) 是统计、合计的语法,将该字段名下的所有数值相加
// AS 可以理解为重命名的意思,将表的名称重新命名。

image.png

点击按钮进入 DataWorks【电子表格】功能页面。

image.png

image.png

配送订单量排序,点击 total 字段右侧的向下箭头按钮

降序效果如下图所示,可以看出田永峰的送单量最多

image.png

好评分数排序,点击 credit 字段右侧的向下箭头按钮

效果如下图所示,可以看出张志勇的客户好评最高

image.png

统计好评率

统计出员工的客户好评率,客户分数除以订单数量

在最右侧增加一列,字段名为 percent。点击最右侧对应的空白列执行以下操作:在空白处输入=号,鼠标先点击左侧‘张志勇’的 credit 对应列,出现=D6,输入/,代表相除的意思,然后点击‘张志勇’的 total 对应列,会出现=D6/C6,然后按下回车键,会出现对应的比例值。

image.png

image.png

最后通过分析翟红良的好评率最高,其次为刘浩。


实验总结:

本次实验通过DataWorks将本地配送订单数据同步到MaxCompute数仓,然后用SQL对数据进行分析得到客户对员工的好评率。

实验使用了DataWorks的数据上传和电子表格功能,同时体验到了通过电子表格直接分析结果数据的便捷性。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
1月前
|
机器学习/深度学习 算法 搜索推荐
从理论到实践,Python算法复杂度分析一站式教程,助你轻松驾驭大数据挑战!
【10月更文挑战第4天】在大数据时代,算法效率至关重要。本文从理论入手,介绍时间复杂度和空间复杂度两个核心概念,并通过冒泡排序和快速排序的Python实现详细分析其复杂度。冒泡排序的时间复杂度为O(n^2),空间复杂度为O(1);快速排序平均时间复杂度为O(n log n),空间复杂度为O(log n)。文章还介绍了算法选择、分而治之及空间换时间等优化策略,帮助你在大数据挑战中游刃有余。
61 4
|
13天前
|
存储 机器学习/深度学习 SQL
大数据处理与分析技术
大数据处理与分析技术
52 2
|
1月前
|
SQL 消息中间件 分布式计算
大数据-124 - Flink State 01篇 状态原理和原理剖析:状态类型 执行分析
大数据-124 - Flink State 01篇 状态原理和原理剖析:状态类型 执行分析
67 5
|
2月前
|
存储 大数据 测试技术
用于大数据分析的数据存储格式:Parquet、Avro 和 ORC 的性能和成本影响
在大数据环境中,数据存储格式直接影响查询性能和成本。本文探讨了 Parquet、Avro 和 ORC 三种格式在 Google Cloud Platform (GCP) 上的表现。Parquet 和 ORC 作为列式存储格式,在压缩和读取效率方面表现优异,尤其适合分析工作负载;Avro 则适用于需要快速写入和架构演化的场景。通过对不同查询类型(如 SELECT、过滤、聚合和联接)的基准测试,本文提供了在各种使用案例中选择最优存储格式的建议。研究结果显示,Parquet 和 ORC 在读取密集型任务中更高效,而 Avro 更适合写入密集型任务。正确选择存储格式有助于显著降低成本并提升查询性能。
448 1
用于大数据分析的数据存储格式:Parquet、Avro 和 ORC 的性能和成本影响
|
3天前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
15 4
|
4天前
|
机器学习/深度学习 分布式计算 算法
【大数据分析&机器学习】分布式机器学习
本文主要介绍分布式机器学习基础知识,并介绍主流的分布式机器学习框架,结合实例介绍一些机器学习算法。
47 5
|
16天前
|
存储 监控 数据挖掘
【Clikhouse 探秘】ClickHouse 物化视图:加速大数据分析的新利器
ClickHouse 的物化视图是一种特殊表,通过预先计算并存储查询结果,显著提高查询性能,减少资源消耗,适用于实时报表、日志分析、用户行为分析、金融数据分析和物联网数据分析等场景。物化视图的创建、数据插入、更新和一致性保证通过事务机制实现。
70 14
|
22天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
67 2
|
23天前
|
数据采集 机器学习/深度学习 搜索推荐
大数据与社交媒体:用户行为分析
【10月更文挑战第31天】在数字化时代,社交媒体成为人们生活的重要部分,大数据技术的发展使其用户行为分析成为企业理解用户需求、优化产品设计和提升用户体验的关键手段。本文探讨了大数据在社交媒体用户行为分析中的应用,包括用户画像构建、情感分析、行为路径分析和社交网络分析,以及面临的挑战与机遇。
|
23天前
|
机器学习/深度学习 搜索推荐 大数据
大数据与教育:学生表现分析的工具
【10月更文挑战第31天】在数字化时代,大数据成为改善教育质量的重要工具。本文探讨了大数据在学生表现分析中的应用,介绍学习管理系统、智能评估系统、情感分析技术和学习路径优化等工具,帮助教育者更好地理解学生需求,制定个性化教学策略,提升教学效果。尽管面临数据隐私等挑战,大数据仍为教育创新带来巨大机遇。

热门文章

最新文章

  • 1
    DataWorks操作报错合集之DataWorks任务异常 报错: GET_GROUP_SLOT_EXCEPTION 该怎么处理
    109
  • 2
    DataWorks操作报错合集之DataWorksUDF 报错:evaluate for user defined function xxx cannot be loaded from any resources,该怎么处理
    107
  • 3
    DataWorks操作报错合集之在DataWorks中,任务流在调度时间到达时停止运行,是什么原因导致的
    106
  • 4
    DataWorks操作报错合集之DataWorks ODPS数据同步后,timesramp遇到时区问题,解决方法是什么
    92
  • 5
    DataWorks操作报错合集之DataWorks配置参数在开发环境进行调度,参数解析不出来,收到了 "Table does not exist" 的错误,该怎么处理
    92
  • 6
    DataWorks操作报错合集之DataWorks中udf开发完后,本地和在MaxCompute的工作区可以执行函数查询,但是在datawork里报错FAILED: ODPS-0130071:[2,5],是什么原因
    103
  • 7
    DataWorks操作报错合集之DataWorks提交失败: 提交节点的源码内容到TSP(代码库)失败:"skynet_packageid is null,该怎么解决
    115
  • 8
    DataWorks操作报错合集之DataWorks在同步mysql时报错Code:[Framework-02],mysql里面有个json类型字段,是什么原因导致的
    151
  • 9
    DataWorks操作报错合集之DataWorks集成实例绑定到同一个vpc下面,也添加了RDS的IP白名单报错:数据源配置有误,请检查,该怎么处理
    88
  • 10
    DataWorks操作报错合集之在 DataWorks 中运行了一个 Hologres 表的任务并完成了执行,但是在 Hologres 表中没有看到数据,该怎么解决
    124
  • 下一篇
    无影云桌面