MySQL之数据分组与数据透视表

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
简介: 笔记

开发工具:

  • mysql-8.0
  • DataGrip

数据源:chapter10_1.csv

shop,city,province,sales
F1,杭州,浙江省,1
A1,北京,北京,2
A2,北京,北京,3
A3,北京,北京,4
B,泉州,福建省,5
D,成都,四川省,6
F2,杭州,浙江省,7
C,厦门,福建省,8
E,绵阳,四川省,9

数据源:chapter10_4.csv

id,score
1,79
2,85
3,53
1,61
2,71
3,88
1,71
2,66
3,97

数据源:chapter10_7.csv

order_id,price,deal_date,area
S001,10,2019/1/1,A区
S002,20,2019/1/1,B区
S003,30,2019/1/1,C区
S004,40,2019/1/2,A区
S005,10,2019/1/2,B区
S006,20,2019/1/2,C区
S007,30,2019/1/3,A区
S008,40,2019/1/3,C区


(1)对分组后的数据进行聚合运算


我们要获取每个省份的店铺总销量,需要先对province列进行分组,然后对各个组内的sales列进行求和聚合运算,具体实现代码如下:

-- 比如,我们要获取每个省份的店铺总销量
select province,sum(sales) as sum_sales from demo.chapter10_1 group by province;

运行结果:

3.png

有时候,我们还需要按照province列和city列同时进行分组,并对分组后的sales列的数据进行求和聚合运算,具体实现代码如下:

select province,city,sum(sales) as sum_sales from demo.chapter10_1 group by province,city;

4.png

我们还可以同时对组内数据进行多个聚合运算,比如,对sales列进行求和聚合运算,对shop列进行计数聚合运算,具体实现代码如下:

select province ,
       city,
       sum(sales) as sum_sales,
       count(shop) as count_shop
from
     demo.chapter10_1
group by
         province,
         city;

5.png

在使用group by的过程中,要注意一下两点:

(1)除参加聚合运算的列外,要在select中查询的列必须先通过group by进行分组,因为没有进行分组的列是不会直接展示出来的,这些列只是在背后等着参与聚合运算,直接select这些列是查找不到的。


(2)group by后面的列名必须是原始表中的列名,而不能是select过程中起的别名。


(2)对聚合后的数据进行条件筛选


有时候,聚合出来的数据并不都是我们想要的,我们在前面讲过如何利用where来筛选满足条件的行,where是针对原始表进行条件筛选的,对聚合后的数据是无效的,但我们又有对聚合后的数据进行条件筛选的需求,这个时候就可以使用having。比如,我们要筛选出店铺销量大于10的省份,可以通过如下代码实现:

select province,
       sum(sales) as sum_sales
from
     demo.chapter10_1
group by province
having sum_sales > 10;

运行结果:

6.png

在上面代码中,having后面的sum(sales)也可以换成别名sum_sales,得到的结果是一样的。读者可能会有疑惑,为什么having后面可以使用别名,而group by后面不可以使用别名呢?


这就涉及了SQL语句的执行顺序,group by的执行顺序是先于组内聚合运算及其对应的别名生成的,所以不能使用别名,因为别名还没有生成。而having的执行顺序是落后于组内聚合运算及其对应的别名生成的,所以可以使用别名。


(3)group_concat()函数


现在我们有这样一个需求,将每位同学的模拟考试成绩从多行合并成一行,且放在一个单元格内,值与值之间用半角逗号分隔。


这个时候就可以使用group_concat()函数来实现,group_concat()函数可以理解成group by和concat的组合,作用是对组内的字符串进行连接,具体实现代码如下:

select id,group_concat(score) as score_group from demo.chapter10_4 group by id;

运行结果:

7.png

group_concat()函数一般需要与group by结合使用。

(4)rollup


有时候,我们还会有这样的需求,就是根据不同维度进行分组聚合,然后将分组聚合后的数据汇总到同一张表中,比如,按照province列进行分组得到每个省份的店铺总销量,然后按照city列进行分组得到每个城市的店铺总销量,最后将二者合并到一张表中,这个过程我们可以通过如下代码实现。

我们先获取每个省份的店铺总销量,具体实现代码如下

-- 我们先获取每个省份的店铺总销量,具体实现代码如下:
select province ,null as city ,sum(sales) as sum_sales from demo.chapter10_1 group by province;

上面的代码中增加了一列null值是为了便于与后面的province列和city列在纵向合并时实现列与列对齐。

然后获取每个城市的店铺总销量,具体实现代码如下:

-- 然后获取每个城市的店铺总销量,具体实现代码如下:
select province,city,sum(sales) as sum_sales from demo.chapter10_1 group by province, city;

接着将上面得到的数据进行纵向合并,使用的是union all

select
       province ,
       null as city ,
       sum(sales) as sum_sales
from demo.chapter10_1
group by province
union all select
                 province,
                 city,
                 sum(sales) as sum_sales
from demo.chapter10_1
group by province, city;

运行结果:

8.png

上面的需求还有一种更便捷的实现方式,就是使用rollup,在group by的具体列名后面加上with rollup即可,具体实现代码如下:

select province,city,sum(sales) as sum_sales from demo.chapter10_1 group by province, city with rollup ;

运行结果:

9.png

上表中province列和city列同时为null的表示全国汇总的店铺销量数据,province列不为null而city列为null的表示各个省份汇总的店铺销量数据,province列和city列都不为null的表示各个城市汇总的店铺销量数据。


(5)数据透视表


如果领导想看一下每天每个区域的订单量,是很简单的,直接按照日期和区域同时进行分组即可,但是这样得出的结果是每天每个区域放于一行(下表Before样式),不利于直接查看。所以最好可以制作成下表所示的After样式,也就是数据透视表的样式,在Excel中很好实现,直接把deal_date字段拖到行区域,把area字段拖到列区域,把order_id字段拖到值区域,然后对order_id字段进行计数聚合运算。

10.png

在SQL中,我们要实现数据透视表需要使用group by与case when两者组合的形式,具体实现代码如下:

select deal_date,
       count(case when area = 'A区' then order_id end ) as 'A区',
       count(case when area = 'B区' then order_id end ) as 'B区',
       count(case when area = 'C区' then order_id end ) as 'C区'
from demo.chapter10_7
group by deal_date;





相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
9月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
7月前
|
SQL 人工智能 关系型数据库
如何实现MySQL百万级数据的查询?
本文探讨了在MySQL中对百万级数据进行排序分页查询的优化策略。面对五百万条数据,传统的浅分页和深分页查询效率较低,尤其深分页因偏移量大导致性能显著下降。通过为排序字段添加索引、使用联合索引、手动回表等方法,有效提升了查询速度。最终建议根据业务需求选择合适方案:浅分页可加单列索引,深分页推荐联合索引或子查询优化,同时结合前端传递最后一条数据ID的方式实现高效翻页。
389 0
|
6月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
509 10
|
6月前
|
存储 关系型数据库 MySQL
MySQL中实施排序(sorting)及分组(grouping)操作的技巧。
使用这些技巧时,需要根据实际的数据量、表的设计和服务器性能等因素来确定最合适的做法。通过反复测试和优化,可以得到最佳的查询性能。
375 0
|
7月前
|
SQL 存储 缓存
MySQL 如何高效可靠处理持久化数据
本文详细解析了 MySQL 的 SQL 执行流程、crash-safe 机制及性能优化策略。内容涵盖连接器、分析器、优化器、执行器与存储引擎的工作原理,深入探讨 redolog 与 binlog 的两阶段提交机制,并分析日志策略、组提交、脏页刷盘等关键性能优化手段,帮助提升数据库稳定性与执行效率。
189 0
|
10月前
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
482 28
|
Java 关系型数据库 MySQL
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
通过详细的步骤和示例代码,您可以在 SpringBoot 项目中成功集成 Flink CDC,并实时追踪 MySQL 数据库的变动。
2897 45
|
9月前
|
存储 SQL 缓存
mysql数据引擎有哪些
MySQL 提供了多种存储引擎,每种引擎都有其独特的特点和适用场景。以下是一些常见的 MySQL 存储引擎及其特点:
237 0
|
11月前
|
存储 SQL 关系型数据库
【YashanDB知识库】MySQL迁移至崖山char类型数据自动补空格问题
**简介**:在MySQL迁移到崖山环境时,若字段类型为char(2),而应用存储的数据仅为'0'或'1',查询时崖山会自动补空格。原因是mysql的sql_mode可能启用了PAD_CHAR_TO_FULL_LENGTH模式,导致保留CHAR类型尾随空格。解决方法是与应用确认数据需求,可将崖山环境中的char类型改为varchar类型以规避补空格问题,适用于所有版本。
|
11月前
|
SQL 关系型数据库 MySQL
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
本文探讨了在使用YMP 23.2.1.3迁移MySQL Server字符集为latin1的中文数据至YashanDB时出现乱码的问题。问题根源在于MySQL latin1字符集存放的是实际utf8编码的数据,而YMP尚未支持此类场景。文章提供了两种解决方法:一是通过DBeaver直接迁移表数据;二是将MySQL表数据转换为Insert语句后手动插入YashanDB。同时指出,这两种方法适合单张表迁移,多表迁移可能存在兼容性问题,建议对问题表单独处理。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB

推荐镜像

更多