查询返回多条数据多列合并

一、GROUP_CONCAT([DISTINCT]要连接的字段  [Order BY 排序字段 ASC/DESC] [Separator ‘分隔符’])-----à默认使用逗号分隔，支持多个列拼接在一行展示。

语法：

GROUP_CONCAT(str1,str2,..., Order BY ASC/DESC, SEPARATOR ',')

二、CONCAT_WS（separator,str1,str2,……）

将多个列使用指定字符串进行拼接成一个字符串返回。与CONCAT（str1,str2,str3,……）的区别，当CONCAT函数中返回的任意一个字段的值为NULL时，则整个返回结果就为NULL，而当CONCAT_WS函数中任意一个字段的值为NULL时，则会自动忽略此列的值进行拼接；当CONCAT函数中返回的任意一个字段的值为’   ’时，则返回结果会将空白项拼接在字符串中返回。

语法：

CONCAT_WS(separator,str1,str2,……)

SQL语句优化策略：

• .避免全表扫描
  对查询进行优化，应尽量避免全表扫描，首先应考虑在where 及order by 涉及的列上建立索引。
• 当有一批处理的插入或更新时，用批量插入或批量更新（Mybatis-plus也支持批量插入/更新），绝不会一条条记录的去更新!
• 查询语法中的字段
  任何地方都不要使用select from t ，用具体的字段列表代替“”，不要返回用不到的任何字段。
• 联表查询优化：
  多张数据表查询数据，使用inner join，left/right join来代替子查询，可以提高查询的效率。
  join : （阿里规约不要超过联接5个表查询）

inner join其返回的结果为被连接的两个数据表的乘积，因此当有WHERE, ON或USING条件的时候一般不建议使用，因为当数据表项目太多的时候，会非常慢。一般使用LEFT [OUTER] JOIN或者RIGHT [OUTER] JOIN

• ORDER BY 排序注意字段类型（正常情况下排序字段为数字类型）
  数字 类型：order by 字段  排序方式
  字符串类型：order by cast(字段 as char)
  字符串 类型的数字：1：order by (字段+0) 排序方式         2： order by cast(字段 as unsigned)
  枚举类型：默认是按照枚举的下标排序的，如果想按照字符串排序跟字符串排序是一样的使用
  按照指定的数据方式排序：order by field(字段,'排序值','排序值','')      解释：排序值可以一只加，第一个是字段就好，排序值可以是空，但是排序值相同时，按照找的第一个
  json类型：order by cast(JSON_EXTRACT(json字段, '$.json字段属性名') as 序号类型)  注：序号类型unsigned(数字) char(字符串) json类型排序在5.7中才有效
  例如:
  有字段parame 的json字段 json里面有id,sex,hobby
  order by cast(JSON_EXTRACT(parame ,'$.id') as unsigned)
• 使用表的别名(Alias)：
  当在SQL语句中连接多个表时,请使用表的别名并把别名前缀于每个Column上.这样一来,就可以减少解析的时间并减少那些由Column歧义引起的语法错误。
  别名是大型数据库的应用技巧，就是表名、列名在查询中以一个字母为别名，查询速度要比建连接表快1.5倍。
• .避免判断null 值
  应尽量避免在where 子句中对字段进行null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：
  select id from t where num is null
  可以在num 上设置默认值0，确保表中num 列没有null 值，然后这样查询：
  select id from t where num=0
• .避免不等值判断
  应尽量避免在where 子句中使用!=或<>操作符，否则引擎将放弃使用索引而进行全表扫描。
• 尽量使用“>=”，不要使用“>”。
• .避免使用or 逻辑
  应尽量避免在where 子句中使用or 来连接条件，因为当有一个列没有索引，则将导致引擎放弃使用索引而进行全表扫描，如：
  select id from t where num=10 or num=20
  可以这样查询：
  select id from t where num=10
  union all
  select id from t where num=20

用OR的字句可以分解成多个查询，并且通过UNION 连接多个查询。他们的速度只同是否使用索引有关,如果查询需要用到联合索引，用UNION all执行的效率更高.多个OR的字句没有用到索引，改写成UNION的形式再试图与索引匹配。一个关键的问题是否用到索引。

• 慎用in 和not in 逻辑
  in 和not in 也要慎用，否则会导致全表扫描，如：
  select id from t1 where num in(select id from t2 where id > 10)
  此时外层查询会全表扫描，不使用索引。可以修改为：
  select id from t1,(select id from t1 where id > 10)t2 where t1.id = t2.id
  此时索引被使用，可以明显提升查询效率。
  如果使用in：（in后面的范围值比较多时，会导致全表扫描）
  在IN后面值的列表中，将出现最频繁的值放在最前面，出现得最少的放在最后面，减少判断的次数。
• between 代替 in
  在连续数值的查询中，能使用between的情况下，尽量使用between，而不使用in。in和not in都会导致全表查询。
• 注意模糊查询like
  下面的查询也将导致全表扫描：
  select id from t where name like '%abc%'
  模糊查询如果是必要条件时，可以使用select id from t where name like 'abc%'来实现模糊查询，此时索引将被使用。如果头匹配是必要逻辑，建议使用：1、全文搜索引擎（Elastic search、Lucene、Solr 等）2、使用mysql5.5以后的虚拟字段，实现统一前缀，来达到使用索引的目的。3、使用以下方式：

一、LOCATE语句  

SELECT `column` from `table` where locate(‘keyword’, `condition`)>0  

二、locate 的別名 position  

POSITION语句  

SELECT `column` from `table` where position(‘keyword’ IN `condition`)  

三、INSTR语句  

SELECT `column` from `table` where instr(`condition`, ‘keyword’ )>0  

在使用like进行数据表的查询时，能用右%的情况下，不建议使用双%，双%查询会导致mysql引擎放弃使用索引而进行全表扫描查询。

• 避免查询条件中字段计算
  应尽量避免在where 子句中对字段进行表达式操作，这将导致引擎放弃使用索引而进行全表扫描。如：
  select id from t where num/2=100
  应改为:
  select id from t where num=100*2
• 避免查询条件中对字段进行函数操作
  应尽量避免在where 子句中对字段进行函数操作，这将导致引擎放弃使用索引而进行全表扫描。如：
  select id from t where substring(name,1,3)='abc'--name 以abc 开头的id
  应改为:
  select id from t where name like 'abc%'
• WHERE 子句“=”左边注意点
  不要在where 子句中的“=”左边进行函数、算术运算或其他表达式运算，否则系统将可能无法正确使用索引。
• 组合索引使用
  在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使用，并且应尽可能的让字段顺序与索引顺序相一致（最左匹配原则）。
• 不要定义无异议的查询
  不要写一些没有意义的查询，如需要生成一个空表结构：
  select col1,col2 into #t from t where 1=0
  这类代码不会返回任何结果集，但是会消耗系统资源的，应改成这样：
  create table #t(...)
• exists
  1、很多时候用exists 代替in 是一个好的选择：
  select num from a where num in(select num from b)
  用下面的语句替换：
  select num from a where exists(select 1 from b where num=a.num)
  2、使用exists代替select count(1)来判断是否存在记录，count函数只有在统计表中所有行数时使用
• 索引也可能失效
  并不是所有索引对查询都有效，SQL 是根据表中数据来进行查询优化的，当索引列有大量数据重复时，SQL 查询可能不会去利用索引，如一表中有字段sex，male、female 几乎各一半，那么即使在sex 上建了索引也对查询效率起不了作用。
  使用 “explain” 对SQL语句进行分析，从而使SQL语句使用到索引！
• 表格字段类型选择
  尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。
  尽可能的使用 varchar/nvarchar 代替 char/nchar ，因为首先可变长度字段存储空间小，可以节省存储空间，其次对于查询来说，在一个相对较小的字段内搜索效率显然要高些。
• 尽量用union all  代替 union
  union 和 union all 的差异主要是前者需要将两个（或者多个）接过集 合并后再进行唯一性过滤操作，这就会涉及到排序，增加大量的CPU运算，加大资源消耗及延迟，所以当我们可以确认结果集或者不在乎重复结果集的时候，尽量使用union all 而不是 union。

union 是对数据进行并集操作，不包括重复行，同时进行默认排序

union all 是对数据进行并集操作，包括重复行，不进行排序

• 索引无关优化
  不使用*、尽量不使用union，union all 等关键字、尽量不使用or 关键字、尽量使用等值判断。表连接建议不超过5 个。如果超过5 个，则考虑表格的设计。（互联网应用中）表连接方式使用外联优于内联。外连接有基础数据存在。如：A left join B,基础数据是A。A inner join B，没有基础数据的，先使用笛卡尔积完成全连接，在根据连接条件得到内连接结果集。
  大数据量级的表格做分页查询时，如果页码数量过大，则使用子查询配合完成分页逻辑。
  Select * from table limit 1000000, 10
  Select * from table where id in (select pk from table limit100000, 10)
• 索引并不是越多越好，
  索引固然可以提高相应的 select 的效率，但同时也降低了 insert 及 update 的效率，因为 insert 或 update 时有可能会重建索引，所以怎样建索引需要慎重考虑，视具体情况而定。阿里规约一个表的索引数最好不要超过5个，若太多则应考虑一些不常使用到的列上建的索引是否有必要。
• 尽量使用表变量来代替临时表。如果表变量包含大量数据，请注意索引非常有限（只有主键索引）。避免频繁创建和删除临时表，以减少系统表资源的消耗。
• 在新建临时表时，如果一次性插入数据量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果数据量不大，为了缓和系统表的资源，应先create table，然后insert。
• 29.尽量避免向客户端返回大数据量，若数据量过大，应该考虑相应需求是否合理。
• 30.尽量避免大事务操作，提高系统并发能力。
• MySQL优化器可优化的SQL类型

重新定义表的关联顺序

将外连接转换成内连接

使用等价变换规则

优化count()、min()和max()

将一个表达式转化为常数表达式

使用等价变换规则

子查询优化

提前终止查询

对in()条件进行优化

• 选择最有效率的表名顺序(只在基于规则的优化器中有效)：
  oracle 的解析器按照从右到左的顺序处理FROM子句中的表名，FROM子句中写在最后的表(基础表 driving table)将被最先处理，在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表。如果有3个以上的表连接查询, 那就需要选择交叉表(intersection table)作为基础表, 交叉表是指那个被其他表所引用的表.
• 提高GROUP BY语句的效率, 可以通过将不需要的记录在GROUP BY 之前过滤掉.下面两个查询返回相同结果，但第二个明显就快了许多.
  低效:
  SELECT JOB , AVG(SAL)
  FROM EMP
  GROUP BY JOB
  HAVING JOB =’PRESIDENT’
  OR JOB =’MANAGER’
  高效:
  SELECT JOB , AVG(SAL)
  FROM EMP
  WHERE JOB =’PRESIDENT’
  OR JOB =’MANAGER’
  GROUP BY JOB
• sql语句用大写，因为oracle/MySql 总是先解析sql语句，把小写的字母转换成大写的再执行。
• 查询缓冲并不自动处理空格，因此，在写SQL语句时，应尽量减少空格的使用，尤其是在SQL首和尾的空格(因为，查询缓冲并不自动截取首尾空格)。
• 避免死锁，在你的存储过程和触发器中访问同一个表时总是以相同的顺序;事务应经可能地缩短，在一个事务中应尽可能减少涉及到的数据量;永远不要在事务中等待用户输入。
• 避免使用临时表（tag：视图），除非却有需要，否则应尽量避免使用临时表，相反，可以使用表变量代替;大多数时候(99%)，表变量驻扎在内存中，因此速度比临时表更快，临时表驻扎在TempDb数据库中，因此临时表上的操作需要跨数据库通信，速度自然慢。
• EXPLAIN SELECT 查询用来跟踪查看效果
  使用 EXPLAIN 关键字可以让你知道MySQL是如何处理你的SQL语句的。这可以帮你分析你的查询语句或是表结构的性能瓶颈。EXPLAIN 的查询结果还会告诉你你的索引主键被如何利用的，你的数据表是如何被搜索和排序的……等。
• 选择表合适存储引擎： （使用最多的是Innodb）
  myisam: 应用时以读和插入操作为主，只有少量的更新和删除，并且对事务的完整性，并发性要求不是很高的。
  Innodb： 事务处理，以及并发条件下要求数据的一致性。除了插入和查询外，包括很多的更新和删除。（Innodb有效地降低删除和更新导致的锁定）。对于支持事务的InnoDB类型的表来说，影响速度的主要原因是AUTOCOMMIT默认设置是打开的，而且程序没有显式调用BEGIN 开始事务，导致每插入一条都自动提交，严重影响了速度。可以在执行sql前调用begin，多条sql形成一个事物（即使autocommit打开也可以），将大大提高性能。

索引创建规则：

·表的主键、外键必须有索引；
·经常与其他表进行连接的表，在连接字段上应该建立索引；

·经常出现在Where子句中的字段，特别是大表的字段，应该建立索引；

·索引应该建在选择性高的字段上；

·索引应该建在小字段上，对于大的文本字段甚至超长字段，不要建索引；（可用搜索引擎ES）
·复合索引的建立需要进行仔细分析，尽量考虑用单字段索引代替；

·正确选择复合索引中的主列字段，一般是选择性较好的字段；
·复合索引的几个字段是否经常同时以 “AND” 方式出现在Where子句中？单字段查询是否极少甚至没有？如果是，则可以建立复合索引；否则考虑单字段索引；

·如果复合索引中包含的字段经常单独出现在Where子句中，则分解为多个单字段索引；

·如果复合索引所包含的字段超过3个，那么仔细考虑其必要性，考虑减少复合的字段；

·如果既有单字段索引，又有这几个字段上的复合索引，一般可以删除复合索引；
·频繁进行数据操作的表，不要建立太多的索引；
·删除无用的索引，避免对执行计划造成负面影响；

·表上建立的每个索引都会增加存储开销，索引对于插入、删除、更新操作也会增加处理上的开销。另外，过多的复合索引，在有单字段索引的情况下，一般都是没有存在价值的；相反，还会降低数据增加删除时的性能，特别是对频繁更新的表来说，负面影响更大。

·尽量不要对数据库中某个含有大量重复的值的字段建立索引。

·在适当的情形下使用GROUP BY而不是DISTINCT，在WHERE, GROUP BY和ORDER BY子句中使用有索引的列，保持索引简单,不在多个索引中包含同一个列，有时候MySQL会使用错误的索引,对于这种情况使用USE INDEX，检查使用SQL_MODE=STRICT的问题，对于记录数小于5的索引字段，在UNION的时候使用LIMIT不是是用OR。

优化表的数据类型,选择合适的数据类型：（建表时）

原则：更小通常更好，简单就好，所有字段都得有默认值,尽量避免null。
例如：数据库表设计时候更小的占磁盘空间尽可能使用更小的整数类型.(mediumint就比int更合适)
比如时间字段：datetime和timestamp, datetime占用8个字节，而timestamp占用4个字节，只用了一半，而timestamp表示的范围是1970—2037适合做更新时间
MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。
因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。例如，
在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，
甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很好的完成任务了。同样的，如果可以的话，
我们应该使用MEDIUMINT而不是BIGIN来定义整型字段。
应该尽量把字段设置为NOT NULL，这样在将来执行查询的时候，数据库不用去比较NULL值。
对于某些文本字段，例如“省份”或者“性别”，我们可以将它们定义为ENUM类型。因为在MySQL中，ENUM类型被当作数值型数据来处理，
而数值型数据被处理起来的速度要比文本类型快得多。这样，我们又可以提高数据库的性能。

任何对列的操作都将导致表扫描，它包括数据库函数、计算表达式等等，查询时要尽可能将操作移至等号右边。

更多优化策略后期会持续更新此文章！