SQL语言艺术实践篇——局外思考

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

今天有个同事问我一个问题,描述如下: 有一个日志信息表,对应同一个ID,可能有一条、两条、三条不同状态的记录。例如ID= 10001的日志记录可能有三条,一条记录状态为正确, 一条记录状态为错误, 一条记录状态是未知。也有可能只有其中一条记录或两条,现在的问题是,对应同一日志ID,我们只需要取一条记录,取数规则是:
1:如果有状态为正确、错误、未知三条记录,我们只取状态为正确的记录。
2:如果只有状态为正确、错误状态两条记录的,我们只取状态为正确的记录
3:如果只有状态为错误、未知记录两条记录的,我们只取状态为错误的记录
4:如果只有状态为正确、未知记录两条记录的,我们只取状态为正确的记录
5:如果只有一种状态的记录,我们就取这条状态的记录。

归纳起来就是状态的优先级别为:正确 > 错误 > 未知。

下面我们简化模拟一下:

CREATE TABLE TEST 
(
         ID                    NUMBER(10) ,
         STATUS               NUMBER(1)  ,
         STATUS_NAM        VARCHAR(12),
         CONSTRAINT PK_TEST  PRIMARY KEY(ID, STATUS)
)


INSERT INTO TEST (ID, STATUS, STATUS_NAM)
values (1001, 1, '正确');

INSERT INTO TEST (ID, STATUS, STATUS_NAM)
values (1001, 2, '错误');

INSERT INTO TEST (ID, STATUS, STATUS_NAM)
values (1001, 3, '未知');

INSERT INTO TEST (ID, STATUS, STATUS_NAM)
values (1002, 1, '正确');

INSERT INTO TEST (ID, STATUS, STATUS_NAM)
values (1002, 2, '错误');

INSERT INTO TEST (ID, STATUS, STATUS_NAM)
values (1003, 1, '正确');

INSERT INTO TEST (ID, STATUS, STATUS_NAM)
values (1003, 3, '未知');

INSERT INTO TEST (ID, STATUS, STATUS_NAM)
values (1004, 2, '错误');

INSERT INTO TEST (ID, STATUS, STATUS_NAM)
values (1004, 3, '未知');

(有兴趣的可以先自己试试,然后看下文解决方法)

刚考虑这个问题,确实有点头大,问题逻辑比较复杂,想用一条SQL写出来,确实比较头大。当时头脑中被逻辑给搅晕了:三条记录时过滤出一条记录,两 条记录时过滤出一条记录,只有一条记录时......。觉得一条SQL实现比较不太现实,可能要借助自定义函数来实现这个功能,当时,另外一个同事迅速给 出了一个方案。

SELECT ID,  CASE   WHEN EXISTS (SELECT 1 FROM TEST T1 WHERE T1.ID = T.ID AND STATUS_NAM = '正确') THEN 1 
                   WHEN EXISTS (SELECT 1 FROM TEST T2 WHERE T2.ID = T.ID AND STATUS_NAM = '错误') THEN 2
                   WHEN EXISTS (SELECT 1 FROM TEST T3 WHERE T3.ID = T.ID AND STATUS_NAM = '未知') THEN 3
             END AS STATUS
 FROM TEST T
 GROUP BY ID
给人眼前一亮,居然可以这样处理,其实我们换个思维来考虑,不管这个日志ID有几条记录,我只需要一条记录,那么我可以使用ROW_NUMBER函数对 ID字段分组,然后取其中的一条ROWNUM,而我可以给三个状态值恰好按:正确——》1、 错误——》2、未知——》3,那么我只需要对记录按状态排序,取序号为1的记录即可。脚本如下:
SELECT ID, STATUS, STATUS_NAM
FROM (SELECT ID,
               ROW_NUMBER() OVER(PARTITION BY ID ORDER BY STATUS) AS ROWNUMS,
               STATUS,
               STATUS_NAM
          FROM TEST)
 WHERE ROWNUMS = 1;

 

刚好这阵子正好看过《SQL语言艺术》,有一章节就讲:战略大于战术,有时候解决问题,仅仅需要站在局外思考(Think Outside),不要因为太关注问题本身而受到干扰。我们需要大胆的思维,站得跟远一些。试着从大局的角度来看待问题。这样就能让问题迎刃而解。其实我 刚开始一直想不到什么方法,就是因为自己没有跳出固定思维的模式,老在怎么从3条记录取一条、二条取一条、一条记录就取单条记录的思维模式里面,没有跳出 SQL,而从业务逻辑思考。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
SQL 存储 API
Flink实践:通过Flink SQL进行SFTP文件的读写操作
虽然 Apache Flink 与 SFTP 之间的直接交互存在一定的限制,但通过一些创造性的方法和技术,我们仍然可以有效地实现对 SFTP 文件的读写操作。这既展现了 Flink 在处理复杂数据场景中的强大能力,也体现了软件工程中常见的问题解决思路——即通过现有工具和一定的间接方法来克服技术障碍。通过这种方式,Flink SQL 成为了处理各种数据源,包括 SFTP 文件,在内的强大工具。
132 15
|
2月前
|
SQL 存储 Unix
Flink SQL 在快手实践问题之设置 Window Offset 以调整窗口划分如何解决
Flink SQL 在快手实践问题之设置 Window Offset 以调整窗口划分如何解决
43 2
|
9天前
|
SQL Oracle 关系型数据库
SQL语言的主要标准及其应用技巧
SQL(Structured Query Language)是数据库领域的标准语言,广泛应用于各种数据库管理系统(DBMS)中,如MySQL、Oracle、SQL Server等
|
12天前
|
SQL 关系型数据库 MySQL
Go语言项目高效对接SQL数据库:实践技巧与方法
在Go语言项目中,与SQL数据库进行对接是一项基础且重要的任务
28 11
|
11天前
|
SQL 存储 关系型数据库
添加数据到数据库的SQL语句详解与实践技巧
在数据库管理中,添加数据是一个基本操作,它涉及到向表中插入新的记录
|
16天前
|
SQL 关系型数据库 数据库
SQL数据库:核心原理与应用实践
随着信息技术的飞速发展,数据库管理系统已成为各类组织和企业中不可或缺的核心组件。在众多数据库管理系统中,SQL(结构化查询语言)数据库以其强大的数据管理能力和灵活性,广泛应用于各类业务场景。本文将深入探讨SQL数据库的基本原理、核心特性以及实际应用。一、SQL数据库概述SQL数据库是一种关系型数据库
20 5
|
14天前
|
SQL 开发框架 .NET
ASP连接SQL数据库:从基础到实践
随着互联网技术的快速发展,数据库与应用程序之间的连接成为了软件开发中的一项关键技术。ASP(ActiveServerPages)是一种在服务器端执行的脚本环境,它能够生成动态的网页内容。而SQL数据库则是一种关系型数据库管理系统,广泛应用于各类网站和应用程序的数据存储和管理。本文将详细介绍如何使用A
30 3
|
13天前
|
SQL 消息中间件 分布式计算
大数据-143 - ClickHouse 集群 SQL 超详细实践记录!(一)
大数据-143 - ClickHouse 集群 SQL 超详细实践记录!(一)
45 0
|
13天前
|
SQL 大数据
大数据-143 - ClickHouse 集群 SQL 超详细实践记录!(二)
大数据-143 - ClickHouse 集群 SQL 超详细实践记录!(二)
38 0
|
2月前
|
SQL 流计算
Flink SQL 在快手实践问题之通过 SQL 改写实现状态复用如何解决
Flink SQL 在快手实践问题之通过 SQL 改写实现状态复用如何解决
46 2