MySQL之数据分组与数据透视表

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用版 2核4GB 50GB
简介: 笔记

开发工具:

  • mysql-8.0
  • DataGrip

数据源:chapter10_1.csv

shop,city,province,sales
F1,杭州,浙江省,1
A1,北京,北京,2
A2,北京,北京,3
A3,北京,北京,4
B,泉州,福建省,5
D,成都,四川省,6
F2,杭州,浙江省,7
C,厦门,福建省,8
E,绵阳,四川省,9

数据源:chapter10_4.csv

id,score
1,79
2,85
3,53
1,61
2,71
3,88
1,71
2,66
3,97

数据源:chapter10_7.csv

order_id,price,deal_date,area
S001,10,2019/1/1,A区
S002,20,2019/1/1,B区
S003,30,2019/1/1,C区
S004,40,2019/1/2,A区
S005,10,2019/1/2,B区
S006,20,2019/1/2,C区
S007,30,2019/1/3,A区
S008,40,2019/1/3,C区


(1)对分组后的数据进行聚合运算


我们要获取每个省份的店铺总销量,需要先对province列进行分组,然后对各个组内的sales列进行求和聚合运算,具体实现代码如下:

-- 比如,我们要获取每个省份的店铺总销量
select province,sum(sales) as sum_sales from demo.chapter10_1 group by province;

运行结果:

3.png

有时候,我们还需要按照province列和city列同时进行分组,并对分组后的sales列的数据进行求和聚合运算,具体实现代码如下:

select province,city,sum(sales) as sum_sales from demo.chapter10_1 group by province,city;

4.png

我们还可以同时对组内数据进行多个聚合运算,比如,对sales列进行求和聚合运算,对shop列进行计数聚合运算,具体实现代码如下:

select province ,
       city,
       sum(sales) as sum_sales,
       count(shop) as count_shop
from
     demo.chapter10_1
group by
         province,
         city;

5.png

在使用group by的过程中,要注意一下两点:

(1)除参加聚合运算的列外,要在select中查询的列必须先通过group by进行分组,因为没有进行分组的列是不会直接展示出来的,这些列只是在背后等着参与聚合运算,直接select这些列是查找不到的。


(2)group by后面的列名必须是原始表中的列名,而不能是select过程中起的别名。


(2)对聚合后的数据进行条件筛选


有时候,聚合出来的数据并不都是我们想要的,我们在前面讲过如何利用where来筛选满足条件的行,where是针对原始表进行条件筛选的,对聚合后的数据是无效的,但我们又有对聚合后的数据进行条件筛选的需求,这个时候就可以使用having。比如,我们要筛选出店铺销量大于10的省份,可以通过如下代码实现:

select province,
       sum(sales) as sum_sales
from
     demo.chapter10_1
group by province
having sum_sales > 10;

运行结果:

6.png

在上面代码中,having后面的sum(sales)也可以换成别名sum_sales,得到的结果是一样的。读者可能会有疑惑,为什么having后面可以使用别名,而group by后面不可以使用别名呢?


这就涉及了SQL语句的执行顺序,group by的执行顺序是先于组内聚合运算及其对应的别名生成的,所以不能使用别名,因为别名还没有生成。而having的执行顺序是落后于组内聚合运算及其对应的别名生成的,所以可以使用别名。


(3)group_concat()函数


现在我们有这样一个需求,将每位同学的模拟考试成绩从多行合并成一行,且放在一个单元格内,值与值之间用半角逗号分隔。


这个时候就可以使用group_concat()函数来实现,group_concat()函数可以理解成group by和concat的组合,作用是对组内的字符串进行连接,具体实现代码如下:

select id,group_concat(score) as score_group from demo.chapter10_4 group by id;

运行结果:

7.png

group_concat()函数一般需要与group by结合使用。

(4)rollup


有时候,我们还会有这样的需求,就是根据不同维度进行分组聚合,然后将分组聚合后的数据汇总到同一张表中,比如,按照province列进行分组得到每个省份的店铺总销量,然后按照city列进行分组得到每个城市的店铺总销量,最后将二者合并到一张表中,这个过程我们可以通过如下代码实现。

我们先获取每个省份的店铺总销量,具体实现代码如下

-- 我们先获取每个省份的店铺总销量,具体实现代码如下:
select province ,null as city ,sum(sales) as sum_sales from demo.chapter10_1 group by province;

上面的代码中增加了一列null值是为了便于与后面的province列和city列在纵向合并时实现列与列对齐。

然后获取每个城市的店铺总销量,具体实现代码如下:

-- 然后获取每个城市的店铺总销量,具体实现代码如下:
select province,city,sum(sales) as sum_sales from demo.chapter10_1 group by province, city;

接着将上面得到的数据进行纵向合并,使用的是union all

select
       province ,
       null as city ,
       sum(sales) as sum_sales
from demo.chapter10_1
group by province
union all select
                 province,
                 city,
                 sum(sales) as sum_sales
from demo.chapter10_1
group by province, city;

运行结果:

8.png

上面的需求还有一种更便捷的实现方式,就是使用rollup,在group by的具体列名后面加上with rollup即可,具体实现代码如下:

select province,city,sum(sales) as sum_sales from demo.chapter10_1 group by province, city with rollup ;

运行结果:

9.png

上表中province列和city列同时为null的表示全国汇总的店铺销量数据,province列不为null而city列为null的表示各个省份汇总的店铺销量数据,province列和city列都不为null的表示各个城市汇总的店铺销量数据。


(5)数据透视表


如果领导想看一下每天每个区域的订单量,是很简单的,直接按照日期和区域同时进行分组即可,但是这样得出的结果是每天每个区域放于一行(下表Before样式),不利于直接查看。所以最好可以制作成下表所示的After样式,也就是数据透视表的样式,在Excel中很好实现,直接把deal_date字段拖到行区域,把area字段拖到列区域,把order_id字段拖到值区域,然后对order_id字段进行计数聚合运算。

10.png

在SQL中,我们要实现数据透视表需要使用group by与case when两者组合的形式,具体实现代码如下:

select deal_date,
       count(case when area = 'A区' then order_id end ) as 'A区',
       count(case when area = 'B区' then order_id end ) as 'B区',
       count(case when area = 'C区' then order_id end ) as 'C区'
from demo.chapter10_7
group by deal_date;





相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2天前
|
关系型数据库 MySQL 数据库
MySQL 复制A的表结构和数据到表B
在MySQL中复制表A至表B可通过不同方法实现。一种是先用`CREATE TABLE B LIKE A;`复制结构,再用`INSERT INTO B SELECT * FROM A;`填充数据。另一种更简便的方法是直接使用`CREATE TABLE B AS SELECT * FROM A;`一次性完成结构和数据的复制。还有一种高级方法是通过`SHOW CREATE TABLE A;`获取表A的创建语句,手动调整后创建表B,如有需要再用`INSERT INTO ... SELECT`复制数据。注意权限问题、跨数据库复制时需指定数据库名,以及大表复制时可能影响性能。
|
6天前
|
消息中间件 数据采集 关系型数据库
大数据-业务数据采集-FlinkCDC 读取 MySQL 数据存入 Kafka
大数据-业务数据采集-FlinkCDC 读取 MySQL 数据存入 Kafka
23 1
|
6天前
|
数据采集 关系型数据库 MySQL
大数据-业务数据采集-FlinkCDC The MySQL server is not configured to use a ROW binlog_format
大数据-业务数据采集-FlinkCDC The MySQL server is not configured to use a ROW binlog_format
16 1
|
7天前
|
SQL 关系型数据库 MySQL
MySQL】-DQL(基本、条件、分组、排序、分页)详细版
通过这些查询方法,你可以高效地检索、分析和组织MySQL数据库中的数据,以满足各种应用需求。实践中,理解这些SQL语句的基础知识以及它们如何组合起来进行复杂的数据操作是至关重要的。
15 1
|
9天前
|
固态存储 关系型数据库 MySQL
"惊!20亿数据秒速入MySQL,揭秘数据库极速插入的黑科技,你不可不知的绝密技巧!"
【8月更文挑战第11天】面对20亿级数据量,高效插入MySQL成为挑战。本文探讨优化策略:合理设计数据库减少不必要的字段和索引;使用批量插入减少网络往返;优化硬件如SSD和内存及调整MySQL配置;并行处理加速插入;附Python示例代码实现分批导入。这些方法将有效提升大规模数据处理能力。
25 2
|
12天前
|
SQL 关系型数据库 MySQL
“震撼揭秘!Flink CDC如何轻松实现SQL Server到MySQL的实时数据同步?一招在手,数据无忧!”
【8月更文挑战第7天】随着大数据技术的发展,实时数据同步变得至关重要。Apache Flink作为高性能流处理框架,在实时数据处理领域扮演着核心角色。Flink CDC(Change Data Capture)组件的加入,使得数据同步更为高效。本文介绍如何使用Flink CDC实现从SQL Server到MySQL的实时数据同步,并提供示例代码。首先确保SQL Server启用了CDC功能,接着在Flink环境中引入相关连接器。通过定义源表与目标表,并执行简单的`INSERT INTO SELECT`语句,即可完成数据同步。
38 1
|
18天前
|
存储 SQL 关系型数据库
(二十三)MySQL分表篇:该如何将月增上亿条数据的单表处理方案优雅落地?
前面《分库分表的正确姿势》、《分库分表的后患问题》两篇中,对数据库的分库分表技术进行了全面阐述,但前两篇大多属于方法论,并不存在具体的实战实操,而只有理论没有实践的技术永远都属纸上谈兵,所以接下来会再开几个单章对分库分表各类方案进行落地。
|
23天前
|
关系型数据库 MySQL 数据库
使用Python读取xlsx表格数据并导入到MySQL数据库中时遇到的问题24
【7月更文挑战第24天】使用Python读取xlsx表格数据并导入到MySQL数据库中
48 7
|
21天前
|
SQL 关系型数据库 MySQL
MySQL删除表数据、清空表命令(truncate、drop、delete 区别)
MySQL删除表数据、清空表命令(truncate、drop、delete区别) 使用原则总结如下: 当你不需要该表时(删除数据和结构),用drop; 当你仍要保留该表、仅删除所有数据表内容时,用truncate; 当你要删除部分记录、且希望能回滚的话,用delete;
|
1天前
|
canal 关系型数据库 MySQL
"揭秘阿里数据同步黑科技Canal:从原理到实战,手把手教你玩转MySQL数据秒级同步,让你的数据处理能力瞬间飙升,成为技术界的新晋网红!"
【8月更文挑战第18天】Canal是一款由阿里巴巴开源的高性能数据同步系统,它通过解析MySQL的增量日志(Binlog),提供低延迟、可靠的数据订阅和消费功能。Canal模拟MySQL Slave与Master间的交互协议来接收并解析Binary Log,支持数据的增量同步。配置简单直观,包括Server和Instance两层配置。在实战中,Canal可用于数据库镜像、实时备份等多种场景,通过集成Canal Client可实现数据的消费和处理,如更新缓存或写入消息队列。
15 0