【SQL开发实战技巧】系列(十一):拿几个案例讲讲translate|regexp_replace|listagg|wmsys.wm_concat|substr|regexp_substr常用函数

简介: translate|regexp_replace|listagg|wmsys.wm_concat|substr|regexp_substr常用函数。如何使用translate或regexp_replace提取姓名的大写首字母缩写、如何使用translate或regexp_replace按字符串中的数值排序、如何聚合表中的行创建一个以逗号分隔拼接的字符串(函数LISTAGG、wmsys.wm_concat)、如何使用substr或regexp_substr提取第N个分隔符的子串、如何分解IP地址

前言

本篇文章讲解的主要内容是:如何使用translate或regexp_replace提取姓名的大写首字母缩写、如何使用translate或regexp_replace按字符串中的数值排序、如何聚合表中的行创建一个以逗号分隔拼接的字符串(函数LISTAGG、wmsys.wm_concat)、如何使用substr或regexp_substr提取第N个分隔符的子串、如何分解IP地址。
【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作,毕竟SQL开发在数据分析场景非常重要且基础,面试也会经常问SQL开发和调优经验,相信当我写完这一系列文章,也能再有所收获,未来面对SQL面试也能游刃有余~。


一、如何使用translate或regexp_replace提取姓名的大写首字母缩写

现在有一个需求:将下面临时表中的首大写字母,中间加"."显示为"Z.Y.D":

with t as(
select 'Zhao Yan Dong' as aa from dual
)

我们可以利用regexp_replace的分组替换功能:

with t as(
select 'Zhao Yan Dong' as aa from dual
)
select regexp_replace(aa,'([[:upper:]])(.*)([[:upper:]])(.*)([[:upper:]])(.*)','\1.\3.\5') from t;
REGEXP_REPLACE(AA,'([[:UPPER:]])(.*)([[:UPPER:]])(.*)([[:UPPER:]])(.*)','\1.\3.\
--------------------------------------------------------------------------------
Z.Y.D

括号()将子表达式分组为一个替换单元、量词单元或后向引用单元。
在这个查询中,我们用()把符串分成了6个组,其中第1、3、5组中是大写字母,然后通过后向引用'\1.\3.\5'就分别取到了3个组的大写字母,并在中间增加了字符'.'。
也可以用前面介绍的translate函数。

SQL> 
SQL> with t as(
  2  select 'Zhao Yan Dong' as aa from dual
  3  )
  4  select translate(aa,1||' '||lower(aa),'1.') from t;

TRANSLATE(AA,1||''||LOWER(AA),'1.')
----------------------------------------------------------------
Z.Y.D

这个逻辑大家应该可以看得明白!

二、如何实现按字符串中的数字或字母排序

有下面一个临时表:

SQL> 
SQL> with t as (
  2  select dname||deptno||loc as aa
  3  from dept
  4  )
  5  select * from t;

AA
-------------------------------------------------------------------
ACCOUNTING10NEW YORK
RESEARCH20DALLAS
SALES30CHICAGO
OPERATIONS40BOSTON

现在有个需求:想根据aa字段中的数值去排序!那么怎么做?
我们可以用正则表达式替换非数字字符,语句如下:

with t as
 (select dname || deptno || loc as aa from dept)
select regexp_replace(aa, '[^[:digit:]]') as newaa, aa from t order by 1;

NEWAA                                                                            AA
-------------------------------------------------------------------------------- -------------------------------------------------------------------
10                                                                               ACCOUNTING10NEW YORK
20                                                                               RESEARCH20DALLAS
30                                                                               SALES30CHICAGO
40                                                                               OPERATIONS40BOSTON

也可以用translate函数,直接替换掉非数字字符:

SQL> with t as
  2   (select dname || deptno || loc as aa from dept)
  3  select translate(aa,'0123456789'||aa,'0123456789') as newaa, aa from t order by 1;

NEWAA                                                                            AA
-------------------------------------------------------------------------------- -------------------------------------------------------------------
10                                                                               ACCOUNTING10NEW YORK
20                                                                               RESEARCH20DALLAS
30                                                                               SALES30CHICAGO
40                                                                               OPERATIONS40BOSTON

三、如何聚合表中的行创建一个以逗号分隔拼接的字符串

现在有一个需求:将emp表相同部门的员工以逗号分隔合并到一起!!!
可能很多人已使用过wmsys.wm_concat函数,但wmsys.wm_concat是一个非公开函数,具有不确定性(返回值原来是varchar,Oracle11.2下就成了clob)。从Oracle11.2开始就有了分析函数listagg来替代它,到了Oracle 12C+及以后,wmsys.wm_concat函数已经被遗弃了,所以建议各位不要再使用这个函数了!至于listagg函数对于拼接超过4000长度的字符会报错问题,可以看博主这篇博客:
通过wm_concat 函数报错:ora06502-character string buffer to small浅谈wm_concat、Listagg、xmlagg函数的使用和结果不确定性
扯远了,接下来用listagg函数来实现上面的需求

SQL> select deptno,listagg(ename,',') within group(order by empno) as yonghu
  2  from emp
  3  group by deptno;

DEPTNO YONGHU
------ --------------------------------------------------------------------------------
    10 CLARK,KING,MILLER
    20 SMITH,JONES,SCOTT,ADAMS,FORD
    30 ALLEN,WARD,MARTIN,BLAKE,TURNER,JAMES
       test

四、如何使用substr或regexp_substr提取第N个分隔符的子串

有如下临时表,每个部门的员工以逗号分隔:

SQL> select deptno,listagg(ename,',') within group(order by empno) as yonghu
  2  from emp where deptno is not null
  3  group by deptno;

DEPTNO YONGHU
------ --------------------------------------------------------------------------------
    10 CLARK,KING,MILLER
    20 SMITH,JONES,SCOTT,ADAMS,FORD
    30 ALLEN,WARD,MARTIN,BLAKE,TURNER,JAMES

现在有一个需求:将上面临时表第二个子串取出来当作一列

没有正则表达式之前需要找到逗号的对应位置,然后对字符串进行截取:

with t as
 (select deptno, listagg(ename, ',') within group(order by empno) as yonghu
    from emp
   where deptno is not null
   group by deptno),
t1 as
 (select deptno,
         yonghu,
         instr(yonghu, ',', 1, 1) as 第一个逗号位置,
         instr(yonghu, ',', 1, 2) as 第二个逗号位置
    from t)    
select deptno,
       yonghu,
       case
         when 第二个逗号位置 = 0 then
          substr(yonghu, 第二个逗号位置 + 1)
         else
          substr(yonghu,
                 第一个逗号位置 + 1,
                 第二个逗号位置 - 第一个逗号位置 - 1)
       end as newstr
  from t1;
  
DEPTNO YONGHU                                                                           NEWSTR
------ -------------------------------------------------------------------------------- --------------------------------------------------------------------------------
    10 CLARK,KING,MILLER                                                                KING
    20 SMITH,JONES,SCOTT,ADAMS,FORD                                                     JONES
    30 ALLEN,WARD,MARTIN,BLAKE,TURNER,JAMES                                             WARD

而使用正则表达式就很简单了!!!看下面写法

with t as (
select deptno,listagg(ename,',') within group(order by empno) as yonghu
from emp where deptno is not null
group by deptno)
select  deptno,yonghu,regexp_substr(yonghu,'[^,]+',1,2) as sub from t;

DEPTNO YONGHU                                                                           SUB
------ -------------------------------------------------------------------------------- --------------------------------------------------------------------------------
    10 CLARK,KING,MILLER                                                                KING
    20 SMITH,JONES,SCOTT,ADAMS,FORD                                                     JONES
    30 ALLEN,WARD,MARTIN,BLAKE,TURNER,JAMES                                             WARD

怎么样,有些时候用正则实现起来一些复杂的需求是不是特简单!!!这就是为啥博主钟爱正则的原因!

五、分解IP地址

现在有一个ip

with t as
 (select '192.168.1.102' as ip from dual)

现在有个需求,要将这个ip以'.'拆分开来,那么使用传统的substr比较麻烦,但是正则的话就很简单,给出下面结果:

select regexp_count(ip, '\.'), regexp_substr(ip, '[^.]+', 1, level)
  from t
connect by level <= regexp_count(ip, '\.');
REGEXP_COUNT(IP,'\.') REGEXP_SUBSTR(IP,'[^.]+',1,LEVEL)
--------------------- ----------------------------------------------------------------
                    3 192
                    3 168
                    3 1

当然,如果一个表里有多条数据,你这么写会发现问题,比如下面这个sql

with t as
 (
 select '192.168.1.102' as ip from dual
 union all
  select '10.1.1.103' as ip from dual
 )
select regexp_count(ip, '\.'), regexp_substr(ip, '[^.]+', 1, level)
  from t
connect by level <= regexp_count(ip, '\.');
REGEXP_COUNT(IP,'\.') REGEXP_SUBSTR(IP,'[^.]+',1,LEVEL)
--------------------- ---------------------------------
                    3 192
                    3 168
                    3 1
                    3 1
                    3 1
                    3 1
                    3 1
                    3 10
                    3 168
                    3 1
                    3 1
                    3 1
                    3 1
                    3 1

14 rows selected

有没有发现你看不懂了???这个问题后面文章会解释,给大家介绍如何应对多行情况,现在先给大家留个念想~😁😁😁


总结

本篇文章相对上一篇数据处理文章有一定难度,但也是工作中常用的高级处理方式,我也算复习了一遍!

相关文章
|
5天前
|
SQL 分布式计算 Apache
实时计算 Flink版产品使用合集之如何选用 Flink SQL 的方式进行开发
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
16 1
|
1天前
|
SQL 关系型数据库 MySQL
SQL基础开发与应用-课程及场景介绍
这是一门关于《SQL基础开发与应用》的课程介绍,主要针对数据库Clouder认证的第二阶段。课程以电商平台后端开发为背景,教授RDS for MySQL的SQL基础知识,包括存储过程、触发器和视图等高级特性,并指导学员使用Python进行数据库的增删改查操作。学习目标包括掌握SQL基础操作,了解RDS的高阶功能,并熟悉Python连接RDS进行数据处理。课程采用场景化教学,以跨境电商网站数据库搭建为例,帮助学员理解实际应用。
10 0
|
2天前
|
SQL Oracle 关系型数据库
sql开发
【5月更文挑战第20天】sql开发
18 1
|
5天前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用合集之是否可以使用 DataStream API 或 Flink SQL 开发任务
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
15 0
|
6天前
|
SQL 缓存 关系型数据库
一次sql改写优化子查询的案例
在生产环境中,一个MySQL RDS实例遭遇了高CPU使用率问题,原因是执行了一条复杂的UPDATE SQL语句,该语句涉及一个无法缓存的子查询(UNCACHEABLE SUBQUERY),导致子查询需要针对每一行数据重复执行,极大地影响了性能。SQL语句的目标是更新一行数据,但执行时间长达30秒。优化方法是将子查询转换为内连接形式,优化后的语句执行时间降低到毫秒级别,显著减少了CPU消耗。通过示例数据和执行计划对比,展示了优化前后的时间差异和执行效率的提升。
|
6天前
|
SQL 关系型数据库 数据管理
Microsoft SQL Server 是微软公司开发的一款关系型数据库管理系统
【5月更文挑战第14天】Microsoft SQL Server 是微软公司开发的一款关系型数据库管理系统
16 2
|
6天前
|
SQL NoSQL 关系型数据库
一个基于 BigQuery 的 SQL 注入挖掘案例
一个基于 BigQuery 的 SQL 注入挖掘案例
8 0
|
6天前
|
SQL 数据库
数据库SQL语言实战(六)
本次实战的重点就在于对表格本身的一些处理,包括复制表格、修改表格结构、修改表格数据
|
6天前
|
SQL Oracle 关系型数据库
数据库SQL语言实战(五)(数据库系统概念第三章练习题)
本文的SQL语言适用的是Oracle数据库与mySQL可能存在略微不同
|
4天前
|
SQL API 流计算
实时计算 Flink版产品使用合集之在Mac M1下的Docker环境中开启SQL Server代理的操作步骤是什么
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
19 1