MySQL 8.0窗口函数--row_number over..应用

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: EG:取出没门课程的第一名: CREATE TABLE window_test (id int, name text, subject text, score numeric ); INSERT INTO window_test VALUES (1,'小黄','数学',99.

EG:取出没门课程的第一名:

CREATE TABLE window_test
  (id int, 
  name text, 
  subject text, 
  score numeric
  );
  
INSERT INTO window_test VALUES (1,'小黄','数学',99.5), (2,'小黄','语文',89.5),(3,'小黄','英语',79.5), (4,'小黄','物理',99.5), (5,'小黄','化学',98.5), (6,'小红','数学',89.5), (7,'小红','语文',99.5), (8,'小红','英语',79.5), (9,'小红','物理',89.5), (10,'小红','化学',69.5),(11,'小绿','数学',89.5), (12,'小绿','语文',91.5), (13,'小绿','英语',92.5),(14,'小绿','物理',93.5), (15,'小绿','化学',94.5);

root@my3308.sock-8.0.11>[employees]>select * from window_test;
+------+--------+---------+-------+
| id   | name   | subject | score |
+------+--------+---------+-------+
|    1 | 小黄   | 数学    |   100 |
|    2 | 小黄   | 语文    |    90 |
|    3 | 小黄   | 英语    |    80 |
|    4 | 小黄   | 物理    |   100 |
|    5 | 小黄   | 化学    |    99 |
|    6 | 小红   | 数学    |    90 |
|    7 | 小红   | 语文    |   100 |
|    8 | 小红   | 英语    |    80 |
|    9 | 小红   | 物理    |    90 |
|   10 | 小红   | 化学    |    70 |
|   11 | 小绿   | 数学    |    90 |
|   12 | 小绿   | 语文    |    92 |
|   13 | 小绿   | 英语    |    93 |
|   14 | 小绿   | 物理    |    94 |
|   15 | 小绿   | 化学    |    95 |
+------+--------+---------+-------+
15 rows in set (0.00 sec)

直接写成如下形式:发现结果并不对。如何解决呢?

root@my3308.sock-8.0.11>[employees]>select id,name,subject,max(score) from window_test group by subject;
+------+--------+---------+------------+
| id   | name   | subject | max(score) |
+------+--------+---------+------------+
|    1 | 小黄   | 数学    |        100 |
|    2 | 小黄   | 语文    |        100 |
|    3 | 小黄   | 英语    |         93 |
|    4 | 小黄   | 物理    |        100 |
|    5 | 小黄   | 化学    |         99 |
+------+--------+---------+------------+
5 rows in set (0.00 sec)

1.当没有窗口函数之前我们使用哪几种方法:
方法一:使用jion 形式
a.按照subject 分组,取出score 的最大值

root@my3308.sock-8.0.11>[employees]>select subject,max(score) from window_test group by subject;
+---------+------------+
| subject | max(score) |
+---------+------------+
| 数学    |        100 |
| 语文    |        100 |
| 英语    |         93 |
| 物理    |        100 |
| 化学    |         99 |
+---------+------------+
5 rows in set (0.00 sec)

b.根据subject,score 的值再去关键Window_test表取出其他几列的值

root@my3308.sock-8.0.11>[employees]>select b.* from
 (select subject,max(score) as score from window_test group by subject
) a     
 join window_test  b on  a.score = b.score and a.subject = b.subject;
+------+--------+---------+-------+
| id   | name   | subject | score |
+------+--------+---------+-------+
|    1 | 小黄   | 数学    |   100 |
|    4 | 小黄   | 物理    |   100 |
|    5 | 小黄   | 化学    |    99 |
|    7 | 小红   | 语文    |   100 |
|   13 | 小绿   | 英语    |    93 |
+------+--------+---------+-------+
5 rows in set (0.00 sec)
此时的结果就是证券的了。

方法二:例如group by 特性来写
a.window_test 按照subject asc,score desc 来排序

root@my3308.sock-8.0.11>[employees]>select * from window_test order by subject, score desc;
+------+--------+---------+-------+
| id   | name   | subject | score |
+------+--------+---------+-------+
|    5 | 小黄   | 化学    |    99 |
|   15 | 小绿   | 化学    |    95 |
|   10 | 小红   | 化学    |    70 |
|    1 | 小黄   | 数学    |   100 |
|    6 | 小红   | 数学    |    90 |
|   11 | 小绿   | 数学    |    90 |
|    4 | 小黄   | 物理    |   100 |
|   14 | 小绿   | 物理    |    94 |
|    9 | 小红   | 物理    |    90 |
|   13 | 小绿   | 英语    |    93 |
|    3 | 小黄   | 英语    |    80 |
|    8 | 小红   | 英语    |    80 |
|    7 | 小红   | 语文    |   100 |
|   12 | 小绿   | 语文    |    92 |
|    2 | 小黄   | 语文    |    90 |
+------+--------+---------+-------+
15 rows in set (0.00 sec)

b.进行对此结果进行group by

root@my3308.sock-8.0.11>[employees]>select * from (select * from window_test order by subject, score desc) a group by a.subject;
+------+--------+---------+-------+
| id   | name   | subject | score |
+------+--------+---------+-------+
|    1 | 小黄   | 数学    |   100 |
|    2 | 小黄   | 语文    |    90 |
|    3 | 小黄   | 英语    |    80 |
|    4 | 小黄   | 物理    |   100 |
|    5 | 小黄   | 化学    |    99 |
+------+--------+---------+-------+
5 rows in set (0.00 sec)

有没有注意到此时的结果是不正确的,那么我们来看下具体的执行计划。哪里出错了呢?

root@my3308.sock-8.0.11>[employees]>explain select * from (select * from window_test order by subject, score desc) a group by a.subject;
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: window_test
   partitions: NULL
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 15
     filtered: 100.00
        Extra: Using temporary
1 row in set, 1 warning (0.00 sec)
从执行计划中我们得到了什么?有没有发现,视图进行了合并了。explain select_type = simple 。那么我们其实可以通过show warnings\G来查看具体的mysql 改写的语句

root@my3308.sock-8.0.11>[employees]>show warnings\G
*************************** 1. row ***************************
  Level: Note
   Code: 1003
Message: /* select#1 */
 select `employees`.`window_test`.`id` AS `id`,
`employees`.`window_test`.`name` AS `name`,
`employees`.`window_test`.`subject` AS `subject`,
`employees`.`window_test`.`score` AS `score`
 from `employees`.`window_test` group by `employees`.`window_test`.`subject`
1 row in set (0.00 sec)
可以直接从show warnings很直观的看到mysql 优化器给改写的SQL。

而在5.6上没有进行合并,5.7 8.0上进行了视图合并,我们应该如何避免呢?

1.5.7优化器新添加了什么功能造成视图合并?
2.如进行避免视图合并有哪几种方法:
方法一:

root@my3308.sock-8.0.11>[employees]>set optimizer_switch ="derived_merge=off";
Query OK, 0 rows affected (0.00 sec)

直接将derived_merge 进行关闭了。这种方法太暴力了。。。。非常不推荐,那么我们应该使用什么方法来解决此问题呢?大家自己思考下

root@my3308.sock-8.0.11>[employees]>set optimizer_switch ="derived_merge=off";
Query OK, 0 rows affected (0.00 sec)

root@my3308.sock-8.0.11>[employees]>select * from (select * from window_test order by subject, score desc) a group by a.subject;
+------+--------+---------+-------+
| id   | name   | subject | score |
+------+--------+---------+-------+
|    5 | 小黄   | 化学    |    99 |
|    1 | 小黄   | 数学    |   100 |
|    4 | 小黄   | 物理    |   100 |
|   13 | 小绿   | 英语    |    93 |
|    7 | 小红   | 语文    |   100 |
+------+--------+---------+-------+
5 rows in set (0.00 sec)

root@my3308.sock-8.0.11>[employees]>explain select * from (select * from window_test order by subject, score desc) a group by a.subject;
+----+-------------+-------------+------------+------+---------------+------+---------+------+------+----------+-----------------+
| id | select_type | table       | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra           |
+----+-------------+-------------+------------+------+---------------+------+---------+------+------+----------+-----------------+
|  1 | PRIMARY     | <derived2>  | NULL       | ALL  | NULL          | NULL | NULL    | NULL |   15 |   100.00 | Using temporary |
|  2 | DERIVED     | window_test | NULL       | ALL  | NULL          | NULL | NULL    | NULL |   15 |   100.00 | Using filesort  |
+----+-------------+-------------+------------+------+---------------+------+---------+------+------+----------+-----------------+
2 rows in set, 1 warning (0.00 sec)

此时结果就对了

方法三:使用if(@_subject=t.subject ,@rn:=@rn+1,@rn:=1) 形式来模拟
a.使用if(@_subject=t.subject ,@rn:=@rn+1,@rn:=1) 来进行subject 分组,以及显示各个row_num

root@my3308.sock-8.0.11>[employees]>select t.*,if(@_subject=t.subject ,@rn:=@rn+1,@rn:=1) as rn ,@_subject:=t.subject as _subject
    ->  from(select t.* from window_test t order by subject,score  desc  ) t , (select @rn:=0 rn ,@_subject:='') b;
+------+--------+---------+-------+------+----------+
| id   | name   | subject | score | rn   | _subject |
+------+--------+---------+-------+------+----------+
|    5 | 小黄   | 化学    |    99 |    1 | 化学     |
|   15 | 小绿   | 化学    |    95 |    2 | 化学     |
|   10 | 小红   | 化学    |    70 |    3 | 化学     |
|    1 | 小黄   | 数学    |   100 |    1 | 数学     |
|    6 | 小红   | 数学    |    90 |    2 | 数学     |
|   11 | 小绿   | 数学    |    90 |    3 | 数学     |
|    4 | 小黄   | 物理    |   100 |    1 | 物理     |
|   14 | 小绿   | 物理    |    94 |    2 | 物理     |
|    9 | 小红   | 物理    |    90 |    3 | 物理     |
|   13 | 小绿   | 英语    |    93 |    1 | 英语     |
|    3 | 小黄   | 英语    |    80 |    2 | 英语     |
|    8 | 小红   | 英语    |    80 |    3 | 英语     |
|    7 | 小红   | 语文    |   100 |    1 | 语文     |
|   12 | 小绿   | 语文    |    92 |    2 | 语文     |
|    2 | 小黄   | 语文    |    90 |    3 | 语文     |
+------+--------+---------+-------+------+----------+
15 rows in set (0.00 sec)

b.进行取出rn = 1 的结果

root@my3308.sock-8.0.11>[employees]>select  x.id,x.name,x.subject,x.score
    -> from (
    -> select t.*,if(@_subject=t.subject ,@rn:=@rn+1,@rn:=1) as rn ,@_subject:=t.subject as _subject
    ->  from(select t.* from window_test t order by subject,score  desc  ) t , (select @rn:=0 rn ,@_subject:='') b
    ->  )x  WHERE rn=1 ORDER BY SUBJECT;
+------+--------+---------+-------+
| id   | name   | subject | score |
+------+--------+---------+-------+
|    5 | 小黄   | 化学    |    99 |
|    1 | 小黄   | 数学    |   100 |
|    4 | 小黄   | 物理    |   100 |
|   13 | 小绿   | 英语    |    93 |
|    7 | 小红   | 语文    |   100 |
+------+--------+---------+-------+
5 rows in set (0.00 sec)

方法四:使用8.0引入的窗口函数row_number over..

root@my3308.sock-8.0.11>[employees]>select id,name,subject,score from  (
    ->     select row_number()over(partition by subject order by score desc) as rn,
    ->     id,name,subject,score
    ->     from window_test )t
    -> where rn=1;
+------+--------+---------+-------+
| id   | name   | subject | score |
+------+--------+---------+-------+
|    5 | 小黄   | 化学    |    99 |
|    1 | 小黄   | 数学    |   100 |
|    4 | 小黄   | 物理    |   100 |
|   13 | 小绿   | 英语    |    93 |
|    7 | 小红   | 语文    |   100 |
+------+--------+---------+-------+
5 rows in set (0.00 sec)
是不是很方便。

root@my3308.sock-8.0.11>[employees]>with cte as  (
    ->     select row_number()over(partition by subject order by score desc) as rn,
    ->     id,name,subject,score
    ->     from window_test
    ->     )select id,name,subject,score  from  cte where rn = 1;
+------+--------+---------+-------+
| id   | name   | subject | score |
+------+--------+---------+-------+
|    5 | 小黄   | 化学    |    99 |
|    1 | 小黄   | 数学    |   100 |
|    4 | 小黄   | 物理    |   100 |
|   13 | 小绿   | 英语    |    93 |
|    7 | 小红   | 语文    |   100 |
+------+--------+---------+-------+
5 rows in set (0.00 sec)
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
1月前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
375 4
|
6天前
|
架构师 关系型数据库 MySQL
MySQL最左前缀优化原则:深入解析与实战应用
【10月更文挑战第12天】在数据库架构设计与优化中,索引的使用是提升查询性能的关键手段之一。其中,MySQL的最左前缀优化原则(Leftmost Prefix Principle)是复合索引(Composite Index)应用中的核心策略。作为资深架构师,深入理解并掌握这一原则,对于平衡数据库性能与维护成本至关重要。本文将详细解读最左前缀优化原则的功能特点、业务场景、优缺点、底层原理,并通过Java示例展示其实现方式。
17 1
|
15天前
|
关系型数据库 MySQL 数据库
MySQL数据库:基础概念、应用与最佳实践
一、引言随着互联网技术的快速发展,数据库管理系统在现代信息系统中扮演着核心角色。在众多数据库管理系统中,MySQL以其开源、稳定、可靠以及跨平台的特性受到了广泛的关注和应用。本文将详细介绍MySQL数据库的基本概念、特性、应用领域以及最佳实践,帮助读者更好地理解和应用MySQL数据库。二、MySQL
37 5
|
6天前
|
关系型数据库 MySQL 数据处理
企业级应用 mysql 日期函数变量,干货已整理
本文详细介绍了如何在MySQL8.0中使用DATE_FORMAT函数进行日期格式的转换,包括当日、昨日及不同时间段的数据获取,并提供了实际的ETL应用场景和注意事项,有助于提升数据处理的灵活性和一致性。
19 0
|
1月前
|
数据采集 关系型数据库 MySQL
MySQL表约束的种类与应用
在设计数据库时,合理应用各种约束对于创建一个结构化良好且能够有效维护数据完整性的数据库至关重要。每种约束类型都有其特定的应用场景,理解并正确应用这些约束,可以大大提高数据库应用的稳定性和性能。
36 3
|
2月前
|
安全 关系型数据库 MySQL
MySQL:TABLE_SCHEMA及其应用
MySQL:TABLE_SCHEMA及其应用
84 1
|
3月前
|
SQL 存储 关系型数据库
(五)MySQL索引应用篇:建立索引的正确姿势与使用索引的最佳指南!
在本篇中,则重点讲解索引应用相关的方式方法,例如各索引优劣分析、建立索引的原则、使用索引的指南以及索引失效与索引优化等内容。
501 0
|
2月前
|
安全 前端开发 网络安全
【Azure App Service】访问App Service应用报错 SSL: WRONG_VERSION_NUMBER
【Azure App Service】访问App Service应用报错 SSL: WRONG_VERSION_NUMBER
119 0
|
3月前
|
安全 前端开发 网络安全
【Azure App Service】访问App Service应用报错 SSL: WRONG_VERSION_NUMBER(上海蓝云阻断页)
在Azure App Service上部署的应用遇到`SSL: WRONG_VERSION_NUMBER`错误。问题可能由不兼容的TLS版本引起,但即使将最小入站TLS版本改为1.2,问题仍存在。实际原因是上海蓝云的阻断页面,表明网站未完成ICP备案或有安全规定限制。解决方案包括:1) 对App Service绑定自定义域名并进行ICP备案,或2) 使用Application Gateway处理公网请求。在复杂环境中,需仔细排查和适配规则。
146 11
|
2月前
|
存储 关系型数据库 MySQL
MySQL中的DISTINCT与GROUP BY:效率之争与实战应用
【8月更文挑战第12天】在数据库查询优化中,DISTINCT和GROUP BY常常被用来去重或聚合数据,但它们在实现方式和性能表现上却各有千秋。本文将深入探讨两者在MySQL中的效率差异,结合工作学习中的实际案例,为您呈现一场技术干货分享。
326 0