共计 3362 个字符,预计需要花费 9 分钟才能阅读完成。
本篇内容介绍了“MySQL 中的 count()、union() 和 group by 语句的用法”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让丸趣 TV 小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
一、MySQL 中 count() 的不同用法
count() 是一个聚合函数,对于返回的结果集,一行行地判断,如果 count 函数的参数不是 NULL,累计值就加 1,否则不加。最后返回累计值。【相关推荐:mysql 视频教程】
1. 对于 count(主键 id) 来说,InnoDB 引擎会遍历整张表,把每一行的 id 值都取出来,返回给 server 层。server 层拿到 id 后,判断是不可能为空的,就按行累加
2. 对于 count(1) 来说,InnoDB 引擎遍历整张表,但不取值。server 层对于返回的每一行,放一个数字 1 进入,判断是不可能为空的,按行累加
3. 对于 count(字段) 来说,如果这个字段是定义为 not null 的话,一行行地从记录里面读出这个字段,判断不能为 null,按行累加;如果这个字段定义允许为 null 的话,那么执行的时候,判断到有可能是 null,还要把值取出来在判断一下,不是 null 才累加
4. 对于 count(*) 来说,并不会把全部字段取出来,而是专门做了优化。不取值,count(*) 肯定不是 null,按行累加
二、union 执行流程
为了便于量化分析,以下面表 t1 来举例
create table t1(id int primary key, a int, b int, index(a));
CREATE DEFINER=`root`@`%` PROCEDURE `idata`()
BEGIN
declare i int;
set i=1;
while(i =1000)do
insert into t1 values(i, i, i);
set i=i+1;
end while;
END
分析下面这条 SQL 语句:
(select 1000 as f) union (select id from t1 order by id desc limit 2);
union 的语义是取这两个子查询结果的并集。并集的意思是这两个集合加起来,重复的行只保留一行
第二行的 key=PRIMARY,说明第二个子句用到了索引 id
第三行的 Extra 字段,表示在对子查询的结果集做 union 的时候,使用了临时表
这个语句的执行流程如下:
1. 创建一个内存临时表,这个临时表只有一个整型字段 f,并且 f 是主键字段
2. 执行第一个子查询,得到 1000 这个值
3. 执行第二个子查询:
拿到第一行 id=1000,试图插入临时表中。但由于 1000 这个值已经存在于临时表了,违反了唯一性约束,所以插入失败,然后继续执行
取到第二行 id=999,插入临时表成功
4. 从临时表中按行取出数据,返回结果,并删除临时表,结果中包含两行数据分别是 1000 和 999
这里的内存临时表起到了暂存数据的作用,而且计算过程还用上了临时表主键 id 的唯一性约束,实现了 union 的语义
如果把上面的语句中 union 改成 union all 的话,就没有了去重的语义。这样执行的时候,就依次执行子查询,得到的结果直接作为结果集的一部分,发给客户端。因此也就不需要临时表了
第二行 Extra 字段显示的是 Using index,表示只使用了覆盖索引,没有用临时表
三、group by 语句详解 1、group by 执行流程
还是使用上面的表 t1,分析下面这条 SQL 语句:
select id%10 as m, count(*) as c from t1 group by m;
这个语句的逻辑是把表 t1 里的数据,按照 id%10 进行分组统计,并按照 m 的结果排序后输出。explain 结果如下:
在 Extra 字段里面,可以看到三个信息:
Using index,表示这个语句使用了覆盖索引,选择了索引 a,不需要回表
Using temporary,表示使用了临时表
Using filesort,表示需要排序
这个语句的执行流程如下:
1. 创建内存临时表,表里有两个字段 m 和 c,主键是 m
2. 扫描表 t1 的索引 a,依次取出叶子节点上的 id 值,计算 id%10 的结果,记为 x
如果临时表中没有主键为 x 的行,就插入一个记录 (x,1)
如果表中有主键为 x 的行,就将 x 这一行的 c 值加 1
3. 遍历完成后,再根据字段 m 做排序,得到结果集返回给客户端
内存临时表排序流程图:
如果并不需要对结果进行排序,在 SQL 语句末尾增加 order by null:
select id%10 as m, count(*) as c from t1 group by m order by null;
由于表 t1 中的 id 值是从 1 开始的,因此返回的结果集中第一行是 id=1
这个例子里由于临时表只有 10 行,内存可以放得下,因此全程只使用了内存临时表。但是,内存临时表的大小是有限的,参数 tmp_table_size 就是控制整个内存大小的,默认是 16M
set tmp_table_size=1024;
select id%100 as m, count(*) as c from t1 group by m order by null limit 10;
把内存临时表的大小限制为最大 1024 字节,并把语句改成 id%100,这样返回结果里有 100 行数据。但是,这时的内存临时表大小不够存下这 100 行数据,也就是说,执行过程中会发现内存临时表大小达到了上限。那么,这时候会把内存临时表转成磁盘临时表,磁盘临时表默认使用的引擎是 InnoDB
2、group by 优化方法——索引
group by 的语义逻辑,是统计不同的值的个数。但是,由于每一行的 id%100 的结果是无序的,所以就需要有一个临时表来记录并统计结果。那么,如果扫描过程中可以保证出现的数据是有序的就可以了
假设,现在有一个类似下图的这么一个数据结构
如果可以确保输入的数据是有序的,那么计算 group by 的时候,就只需要从左到右,顺序扫描,依次累加。也就是下面这个流程:
当碰到第一个 1 的时候,已经知道累积了 X 个 0,结果集里的第一行就是 (0,X)
当碰到第一个 2 的时候,已经知道累积了 Y 个 1,结果集里的第一行就是 (1,Y)
按照这个逻辑执行的话,扫描到整个输入的数据结束,就可以拿到 group by 的结果,不需要临时表,也需要再额外排序
在 MySQL5.7 版本支持了 generated column 机制,用来实现列数据的关联更新。创建一个列 z,在 z 列上创建一个索引
alter table t1 add column z int generated always as(id % 100), add index(z);
这样,索引 z 上的数据就是有序的了。group by 语句就可以改成:
select z, count(*) as c from t1 group by z;
从这个 Extra 字段可以看到,这个语句的执行不再需要临时表,也不需要排序了
3、group by 优化方法——直接排序
在 group by 语句中加入 SQL_BIG_RESULT 这个提示,就可以告诉优化器:这个语句涉及的数据量很大,直接用磁盘临时表。因为磁盘临时表是 B + 树存储,存储效率不如数组来得高。所以 MySQL 优化器直接用数组来存
select SQL_BIG_RESULT id%100 as m, count(*) as c from t1 group by m;
1. 初始化 sort_buffer,确定放入一个整型字段,记为 m
2. 扫描表 t1 的索引 a,依次取出里面的 id 值,将 id%100 的值存入 sort_buffer 中
3. 扫描完成后,对 sort_buffer 的字段 m 做排序(如果 sort_buffer 内存不够用,就会利用磁盘临时文件辅助排序)
4. 排序完成后,就得到了一个有序数组
根据有序数组,得到数组里面的不同值,以及每个值的出现次数
这个语句的执行没有再使用临时表,而是直接用了排序算法
“MySQL 中的 count()、union() 和 group by 语句的用法”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注丸趣 TV 网站,丸趣 TV 小编将为大家输出更多高质量的实用文章!