基于DataWorks+MaxCompute的员工配送业务绩效考核分析

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 基于DataWorks+MaxCompute的员工配送业务绩效考核分析

实验内容:

通过DataWorks对MaxCompute数仓中的派送订单数据进行分析,得到配送员的客户好评排行。


实验思路:

1、通过DataWorks将CSV文件数据同步到MaxCompute。

2、对数据进行分析得到结果。


实验目的:

通过本实验让学员掌握使用DataWorks同步本地数据到MaxCompute的方法,学习到以下知识点:
1、掌握使用DataWorks同步本地数据到MaxCompute的方法;

2、掌握使用DataWorks对MaxCompute数据进行分析的方法;

3、掌握DataWorks电子表格的使用方法。


实验步骤:

搜索框输入DataWorks,在搜索结果中点击大数据开发治理平台DataWorks,进入DataWorks控制台。

image.png

image.png

DataWorks上传的默认数据源为CSV文件,实验前需要先下载CSV文件。

https://university-labfileapp.oss-cn-hangzhou.aliyuncs.com/%E5%AE%8F%E9%B9%8F--%E5%A4%A7%E6%95%B0%E6%8D%AEACA/order_buy_list.csv

image.png

点击上传文件

image.png

DataWorks会自动解析上传的CSV数据,将number和mark类型设置为BIGINT属性,后面会对这两个字段进行统计处理,只有数值类型才可以统计。

image.png

点击【提交】将数据保存到 MaxCompute 数仓。

image.png

如下图所示,自动生成了一个临时文件,并自动生成了刚刚创建的 order_list 的 SQL语句

image.png

在 SQL 查询编辑页面临时文件中,删除上一步自动生成的 SQL 语句,输入以下 SQL 语句(保持sql产品名一致):

SELECT DISTINCT a.staffid
,a.dlivery
,(
SELECT sum(number) FROM u_vqdin61q_1696322645.order_list WHERE staffid = a.staffid
) AS total
,(
SELECT sum(mark) FROM u_vqdin61q_1696322645.order_list WHERE staffid = a.staffid
) AS credit
FROM u_vqdin61q_1696322645.order_list AS a
;
// DISTINCT 的语法,意思是过滤重复的数据,DISTINCT 字段名,代表过滤该字段名下的重复数据。
// SUM(字段名) 是统计、合计的语法,将该字段名下的所有数值相加
// AS 可以理解为重命名的意思,将表的名称重新命名。

image.png

点击按钮进入 DataWorks【电子表格】功能页面。

image.png

image.png

配送订单量排序,点击 total 字段右侧的向下箭头按钮

降序效果如下图所示,可以看出田永峰的送单量最多

image.png

好评分数排序,点击 credit 字段右侧的向下箭头按钮

效果如下图所示,可以看出张志勇的客户好评最高

image.png

统计好评率

统计出员工的客户好评率,客户分数除以订单数量

在最右侧增加一列,字段名为 percent。点击最右侧对应的空白列执行以下操作:在空白处输入=号,鼠标先点击左侧‘张志勇’的 credit 对应列,出现=D6,输入/,代表相除的意思,然后点击‘张志勇’的 total 对应列,会出现=D6/C6,然后按下回车键,会出现对应的比例值。

image.png

image.png

最后通过分析翟红良的好评率最高,其次为刘浩。


实验总结:

本次实验通过DataWorks将本地配送订单数据同步到MaxCompute数仓,然后用SQL对数据进行分析得到客户对员工的好评率。

实验使用了DataWorks的数据上传和电子表格功能,同时体验到了通过电子表格直接分析结果数据的便捷性。

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
28天前
|
数据可视化 搜索推荐 大数据
基于python大数据的北京旅游可视化及分析系统
本文深入探讨智慧旅游系统的背景、意义及研究现状,分析其在旅游业中的作用与发展潜力,介绍平台架构、技术创新、数据挖掘与服务优化等核心内容,并展示系统实现界面。
|
2月前
|
数据采集 人工智能 分布式计算
ODPS在AI时代的发展战略与技术演进分析报告
ODPS(现MaxCompute)历经十五年发展,从分布式计算平台演进为AI时代的数据基础设施,以超大规模处理、多模态融合与Data+AI协同为核心竞争力,支撑大模型训练与实时分析等前沿场景,助力企业实现数据驱动与智能化转型。
257 4
|
2月前
|
JSON 大数据 API
巧用苏宁易购 API,精准分析苏宁易购家电销售大数据
在数据驱动的电商时代,精准分析销售数据能助力企业优化库存、提升营销效果。本文详解如何利用苏宁易购API获取家电销售数据,结合Python进行数据清洗与统计分析,实现销量预测与洞察提取,帮助企业降本增效。
54 0
|
3月前
|
消息中间件 NoSQL 数据可视化
数据说了算,可你得“听得快”——聊聊大数据里的实时分析
数据说了算,可你得“听得快”——聊聊大数据里的实时分析
92 2
|
10天前
|
存储 SQL 分布式计算
终于!大数据分析不用再“又要快又要省钱”二选一了!Dataphin新功能太香了!
Dataphin推出查询加速新功能,支持用StarRocks等引擎直连MaxCompute或Hadoop查原始数据,无需同步、秒级响应。数据只存一份,省成本、提效率,权限统一管理,打破“又要快又要省”的不可能三角,助力企业实现分析自由。
111 49
|
4月前
|
数据采集 人工智能 算法
数据没洗干净,分析全白干:聊聊大数据里的“洗澡水”工程
数据没洗干净,分析全白干:聊聊大数据里的“洗澡水”工程
110 1
|
15天前
|
数据采集 数据可视化 关系型数据库
基于python大数据的电影数据可视化分析系统
电影分析与可视化平台顺应电影产业数字化趋势,整合大数据处理、人工智能与Web技术,实现电影数据的采集、分析与可视化展示。平台支持票房、评分、观众行为等多维度分析,助力行业洞察与决策,同时提供互动界面,增强观众对电影文化的理解。技术上依托Python、MySQL、Flask、HTML等构建,融合数据采集与AI分析,提升电影行业的数据应用能力。
|
24天前
|
数据可视化 大数据 数据挖掘
基于python大数据的招聘数据可视化分析系统
本系统基于Python开发,整合多渠道招聘数据,利用数据分析与可视化技术,助力企业高效决策。核心功能包括数据采集、智能分析、可视化展示及权限管理,提升招聘效率与人才管理水平,推动人力资源管理数字化转型。
|
27天前
|
机器学习/深度学习 搜索推荐 算法
基于python大数据的口红商品分析与推荐系统
本研究基于Python大数据技术,构建口红商品分析与推荐系统,旨在解决口红市场产品同质化与消费者选择困难问题。通过分析颜色、质地、价格等多维度数据及用户行为,实现个性化推荐,提升购物体验与品牌营销效率,推动美妆行业数字化转型,具有重要现实意义与市场价值。
|
3月前
|
SQL 存储 机器学习/深度学习
基于 Dify + Hologres + QWen3 进行企业级大数据的处理和分析
在数字化时代,企业如何高效处理和分析海量数据成为提升竞争力的关键。本文介绍了基于 Dify 平台与 Hologres 数据仓库构建的企业级大数据处理与分析解决方案。Dify 作为开源大语言模型平台,助力快速开发生成式 AI 应用;Hologres 提供高性能实时数仓能力。两者结合,不仅提升了数据处理效率,还实现了智能化分析与灵活扩展,为企业提供精准决策支持,助力数字化转型。
551 2
基于 Dify + Hologres + QWen3 进行企业级大数据的处理和分析

热门文章

最新文章

  • 1
    人工智能平台PAI产品使用合集之在使用行调用时遇到一直卡在ps job的问题,并且无法在DataWorks上查看到相关日志,是什么导致的
    367
  • 2
    DataWorks操作报错合集之同步Elasticsearch数据报错:Cat response did not contain a JSON Array,是什么导致的
    171
  • 3
    DataWorks操作报错合集之实时同步能启动,但是不能同数据,错误提示"Thereplicaidentityoftablesyouselectedisnotfull,pleasealtertablefirst.need alter table"表示什么意思
    272
  • 4
    DataWorks操作报错合集之同步脚本报错This error often occurs when a lot dirty data exists in the source data. 是什么原因
    263
  • 5
    DataWorks操作报错合集之调用ListInstances API时报错:ServiceUnavailable The request has failed due to a temporary failure of the server.是什么导致的
    265
  • 6
    DataWorks操作报错合集之出现报错数据质量校验不通过,但任务没有设置DQC校验,是什么导致的
    224
  • 7
    DataWorks操作报错合集之在点击DQC监控时,跳转到DQC页面出现报错,是什么导致的
    191
  • 8
    DataWorks操作报错合集之同步任务同步到OSS,报错:Caused by: com.aliyun.oss.ClientException: The target server failed to respond,如何解决
    330
  • 9
    DataWorks操作报错合集之在执行离线同步时,如果测试连接突然报错并出现类似于“exception occurs:path=[/di/testDetailConnectivity]”,如何解决
    192
  • 10
    DataWorks操作报错合集之遇到错误信息提示:"ErrorMessage: ClickHouse exception, code: 210, host: cc-,是什么导致的
    501