MySql字符串拆分实现split功能(字段分割转列、转行)

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: MySql字符串拆分实现split功能(字段分割转列、转行)

需求描述


数据库中 num字段值为:

1673353593982.jpg

实现的效果:需要将一行数据变成多行


实现的sql


SELECT SUBSTRING_INDEX(SUBSTRING_INDEX('7654,7698,7782,7788',',',help_topic_id+1),',',-1) AS num 
FROM mysql.help_topic 
WHERE help_topic_id < LENGTH('7654,7698,7782,7788')-LENGTH(REPLACE('7654,7698,7782,7788',',',''))+1


案例演示


CREATE TABLE `company` (
`id` int(20) DEFAULT NULL,
`name` varchar(100) DEFAULT NULL,
`shareholder` varchar(100) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
INSERT INTO `company` VALUES ('1', '阿里巴巴', '马云');
INSERT INTO `company` VALUES ('2', '淘宝', '马云,孙正义');


1、原始数据演示

1673353699702.jpg

2、处理结果演示

1673353709936.jpg

3、sql语句


SELECT a.id
    , a.NAME
    , substring_index(substring_index(a.shareholder, ',', b.help_topic_id + 1), ',', - 1) AS shareholder
FROM company a
INNER JOIN mysql.help_topic b
    ON b.help_topic_id < (length(a.shareholder) - length(REPLACE(a.shareholder, ',', '')) + 1)


涉及的知识点如下:


字符串拆分: SUBSTRING_INDEX(str, delim, count)


参数解说       解释

str         需要拆分的字符串

delim         分隔符,通过某字符进行拆分

count          当 count 为正数,取第 n 个分隔符之前的所有字符; 当 count 为负数,取倒数第 n 个分隔符之后的所有字符。


举例


(1)获取第2个以逗号为分隔符之前的所有字符。

SELECT SUBSTRING_INDEX('7654,7698,7782,7788',',',2);

1673353820578.jpg

(2)获取最后一个到倒数第2个以逗号分隔符之后的所有字符

SELECT SUBSTRING_INDEX('7654,7698,7782,7788',',',-2);

1673353833474.jpg

所以,我们的核心代码中的 -1 ,就是获取以逗号为分隔符的最后一个值;也就是7788

1673353841968.jpg


替换函数:replace( str, from_str, to_str)


参数名       解释

str        需要进行替换的字符串

from_str     需要被替换的字符串

to_str       需要替换的字符串


举例


将分隔符逗号替换为空。

SELECT REPLACE('7654,7698,7782,7788',',','');

1673353870892.jpg


获取字符串长度:LENGTH( str )


参数名   解释

str     需要计算长度的字符串


获取 ‘7654,7698,7782,7788’ 字符串的长度

SELECT LENGTH('7654,7698,7782,7788')

1673353896420.jpg


实现的原理解析


【4.1】 实现sql


SELECT SUBSTRING_INDEX(SUBSTRING_INDEX('7654,7698,7782,7788',',',help_topic_id+1),',',-1) AS num 
FROM mysql.help_topic 
WHERE help_topic_id < LENGTH('7654,7698,7782,7788')-LENGTH(REPLACE('7654,7698,7782,7788',',',''))+1


此处利用 mysql 库的 help_topic 表的 help_topic_id 来作为变量,因为 help_topic_id 是自增的,当然也可以用其他表的自增字段辅助。


help_topic 表:


1673353931745.jpg

1673353948642.jpg

注意,这个辅助表的ID最大长度只有658;如果过长的字符串,可能需要借助其他自增的辅助表(可以是现有表,也可以自己造一个 1,2,3,4 递增的行即可)

1673353956282.jpg


【4.2】正式的原理解析


原SQL

SELECT SUBSTRING_INDEX(SUBSTRING_INDEX('7654,7698,7782,7788',',',help_topic_id+1),',',-1) AS num 
FROM   mysql.help_topic 
WHERE  help_topic_id < LENGTH('7654,7698,7782,7788')-LENGTH(REPLACE('7654,7698,7782,7788',',',''))+1


Step1:首先获取最后需被拆分成多少个字符串,利用 help_topic_id 来模拟遍历 第n个字符串。

这一步核心就是获取,有多少个分隔符,比如本文的案例,就是知道有多少个逗号


涉及的代码片段:

help_topic_id < LENGTH('7654,7698,7782,7788')-LENGTH(REPLACE('7654,7698,7782,7788',',',''))+1

1673354002744.jpg

因为 help_topic_id是从0开始的,所以会得出 help_topic_id 值为:0~3,共4行数据;


Step2:根据“,”逗号来拆分字符串,此处利用 SUBSTRING_INDEX(str, delim, count) 函数,最后把结果赋值给 num 字段。

涉及的代码片段:

SUBSTRING_INDEX(SUBSTRING_INDEX('7654,7698,7782,7788',',',help_topic_id+1),',',-1) AS num

第一步:


以”,”逗号为分隔符,根据 help_topic_id 的值来截取第n+1个分隔符之前所有的字符串。 (此处 n+1 是因为help_topic_id 是从0开始算起,而此处需从第1个分隔符开始获取。)

SUBSTRING_INDEX('7654,7698,7782,7788',',',help_topic_id+1)
eg: 
当 help_topic_id = 0时,获取到的字符串 = 7654 
当 help_topic_id = 1时,获取到的字符串 = 7654,7698 …(以此类推)


第二步:


以”,”逗号为分隔符,截取倒数第1个分隔符之后的所有字符串。

SUBSTRING_INDEX(SUBSTRING_INDEX('7654,7698,7782,7788',',',help_topic_id+1),',',-1)
eg: 
根据第一步,当 help_topic_id = 0时,获取到的字符串 = 7654,此时第二步截取的字符串 = 7654 
根据第一步,当 help_topic_id = 1时,获取到的字符串 = 7654,7698,此时第二步截取的字符串 = 7698 
…(以此类推)


最终成功实现了以下效果 ~

1673354041467.jpg


扩展:判断外部值是否在 num列值中


【5.1】find_in_set


如果匹配到了会得出1;如下图

1673354062093.jpg


实际业务中,我们只需要 where find_in_set(id,ids)>0


就可以判断出;id列,是否在 ids列中出现过;做表连接的时候,也可以这样;


【5.2】instr

1673354080868.jpg

我们可以看出,instr是找出 参数2=》也就是上图中的 ‘123’ 在参数1=》也就是上图中的 ‘321,123,555,12345’ 中最开始出现的位置;


所以我们也只需要 where find_in_set(ids,id)>0 ,就可以判断出 id 在 ids中出现过;



但这有一个问题,如果逗号分隔开的字符串,包含我们查找的字符串,也会显示出来,这就不符合我们 根据分隔符 , 判断 查找字符串id 是否出现在 ids 中;


如下:


1673354090875.jpg

我们本来想查以逗号为分隔的完全匹配,但是12345包含了 123 所以查出来的结果也是>0的,这不对;


所以我们为了避免这种情况,可以加上分隔符;然后再用 字符串+分隔符作为 查找的字符串 来 匹配;

1673354099655.jpg

1673354108342.jpg

1673354120481.jpg

我们被查找的字符串 ids 中 再加上一个正常的 123, 再查看,如下图:确实是对的



一些特殊数据,可能字符串拆分出来后缀有的相同,就会造成结果错误,例如以下:


在字符串中搜索 ‘23’的位置,‘123’的后缀也是’23’,就会造成结果错误

1673354129196.jpg

可以在字符串两边都加上逗号,确保字符串能完全匹配

1673354144900.jpg

1673354158716.jpg

字符串转多列


SELECT
-- 截取第一个逗号前边的数据,即为第一个字符串
substring_index( ids, ',', 1 ) id1,
-- 在52,15字符串中,从字符串中逗号的位置+1开始截取即为第二个字符串
SUBSTR( substring_index( ids, ',', 2 ), LOCATE( ',', substring_index( ids, ',', 2 ), 1 )+ 1 ) id2,
-- 将第一个字符串和第二个字符串的长度+2(两个逗号),从这个位置开始截取即为第三个字符串
SUBSTR(
  ids,
  LENGTH(
  CONCAT(
    substring_index( ids, ',', 1 ),
  SUBSTR( substring_index( ids, ',', 2 ), LOCATE( ',', substring_index( ids, ',', 2 ), 1 ) )))+ 2 
) id3 
FROM
  ( SELECT REPLACE ( REPLACE ( '[52,15,894]', '[', '' ), ']', '' ) AS ids ) t


1673353541238.jpg

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
16天前
|
关系型数据库 MySQL
mysql增加修改删除字段
mysql增加修改删除字段
12 0
|
1月前
|
分布式计算 DataWorks 关系型数据库
DataWorks支持将ODPS表拆分并回流到MySQL的多个库和表中
【2月更文挑战第14天】DataWorks支持将ODPS表拆分并回流到MySQL的多个库和表中
55 8
|
2月前
|
关系型数据库 MySQL 数据库
MySQL时间字段设置自动更新
MySQL时间字段设置自动更新
24 0
|
2月前
|
SQL 关系型数据库 MySQL
MySQL 用gourp by分组后取某一字段最大值
MySQL 用gourp by分组后取某一字段最大值
|
11天前
|
存储 关系型数据库 MySQL
MySQL数据库性能大揭秘:表设计优化的高效策略(优化数据类型、增加冗余字段、拆分表以及使用非空约束)
MySQL数据库性能大揭秘:表设计优化的高效策略(优化数据类型、增加冗余字段、拆分表以及使用非空约束)
|
1月前
|
关系型数据库 MySQL
Mysql基础第十三天,创建计算字段
Mysql基础第十三天,创建计算字段
19 0
|
2月前
|
SQL 消息中间件 关系型数据库
Flink报错问题之mysql timestamp字段报错如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
|
2月前
|
SQL 关系型数据库 MySQL
Mysql批量修改某字段的值
Mysql批量修改某字段的值
|
3月前
|
关系型数据库 MySQL 分布式数据库
PolarDB MySQL企业版与标准版功能对比:如何选择适合您的版本?
随着数字化时代的到来,企业对于数据处理的需求越来越高,而数据库作为数据处理的核心,其性能和成本成为了企业关注的焦点。阿里云全新推出的PolarDB MySQL企业版和标准版,以全新的架构和优化,为企业提供了高性能、低成本的数据库解决方案。但在功能上,这两个版本有很多差异,我们该如何选择呢?
48 2
|
3月前
|
JSON 关系型数据库 MySQL
这个问题是由于Flink的Table API在处理MySQL数据时,将MULTISET类型的字段转换为了JSON格式
【1月更文挑战第17天】【1月更文挑战第84篇】这个问题是由于Flink的Table API在处理MySQL数据时,将MULTISET类型的字段转换为了JSON格式
32 1