MySQL 5.7临时表空间的使用方法

52次阅读
没有评论

共计 3354 个字符,预计需要花费 9 分钟才能阅读完成。

自动写代码机器人,免费开通

这篇文章将为大家详细讲解有关 MySQL 5.7 临时表空间的使用方法,丸趣 TV 小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

导读

MySQL 5.7 的目标是成为发布以来最安全的 MySQL 服务器,其在 SSL/TLS 和全面安全开发方面有一些重要的改变。

MySQL 5.7 起支持独立临时表空间,但个别时候也可能会踩坑的。

MySQL 5.7 起,开始采用独立的临时表空间(和独立的 undo 表空间不是一回事哟),命名 ibtmp1 文件,初始化 12M,且默认无上限。

选项 innodb_temp_data_file_path 可配置临时表空间相关参数。

innodb_temp_data_file_path = ibtmp1:12M:autoextend

临时表空间的几点说明

临时表空间不像普通 InnoDB 表空间那样,不支持裸设备(raw device)。

临时表空间使用动态的表空间 ID,因此每次重启时都会变化(每次重启时,都会重新初始化临时表空间文件)。

当选项设置错误或其他原因(权限不足等原因)无法创建临时表空间时,mysqld 实例也无法启动。

临时表空间中存储这非压缩的 InnoDB 临时表,如果是压缩的 InnoDB 临时表,则需要单独存储在各自的表空间文件中,文件存放在 tmpdir(/tmp)目录下。

临时表元数据存储在 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO 视图中。

有时执行 SQL 请求时会产生临时表,极端情况下,可能导致临时表空间文件暴涨,帮人处理过的案例中最高涨到快 300G,比以前遇到的 ibdata1 文件暴涨还要猛…

临时表使用的几点建议

设置 innodb_temp_data_file_path 选项,设定文件最大上限,超过上限时,需要生成临时表的 SQL 无法被执行(一般这种 SQL 效率也比较低,可借此机会进行优化)。

检查 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO,找到最大的临时表对应的线程,kill 之即可释放,但 ibtmp1 文件则不能释放(除非重启)。

择机重启实例,释放 ibtmp1 文件,和 ibdata1 不同,ibtmp1 重启时会被重新初始化而 ibdata1 则不可以。

定期检查运行时长超过 N 秒(比如 N =300)的 SQL,考虑干掉,避免垃圾 SQL 长时间运行影响业务。

附:临时表测试案例

表 DDL

CREATE TEMPORARY TABLE `tmp1` ( `id` int(10) unsigned NOT NULL DEFAULT  0 ,
 `name` varchar(50) NOT NULL DEFAULT  ,
 `aid` int(10) unsigned NOT NULL AUTO_INCREMENT,
 `nid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) VIRTUAL NOT NULL,
 `nnid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) STORED NOT NULL,
 PRIMARY KEY (`aid`),
 KEY `name` (`name`),
 KEY `id` (`id`),
 KEY `nid` (`nid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

原表大小只有 120MB,从这个表直接 INSERT…SELECT 导数据到 tmp1 表。

-rw-r----- 1 yejr imysql 120M Apr 14 10:52 /data/mysql/test/sid.ibd

生成临时表(去掉虚拟列,临时表不支持虚拟列,然后写入数据),还更大了(我也不解,以后有机会再追查原因)。

-rw-r----- 1 yejr imysql 140M Jun 25 09:55 /Users/yejinrong/mydata/ibtmp1

查看临时表元数据信息

yejr@imysql.com [test] select * from 
 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO\G
*********************** 1. row ***********************
 TABLE_ID: 405
 NAME: #sql14032_300000005_3
 N_COLS: 6
 SPACE: 421
PER_TABLE_TABLESPACE: FALSE
 IS_COMPRESSED: FALSE

再删除索引,结果,又更大了

-rw-r----- 1 yejr imysql 204M Jun 25 09:57 /data/mysql/ibtmp1

第二次测试删除索引后,变成了 200M(因为第二次测试时,我设置了临时表最大 200M)

innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:200M
-rw-r----- 1 yejr imysql 200M Jun 25 10:15 /data/mysql/ibtmp1

执行一个会产生临时表的慢 SQL。

注:MySQL 5.7 起,执行 UNION ALL 不再产生临时表(除非需要额外排序)。

yejr@imysql.com [test] explain select * from tmp1 union 
 select id,name,aid from sid\G
*************************** 1. row ***************************
 id: 1
 select_type: PRIMARY
 table: tmp1
 partitions: NULL
 type: ALL
possible_keys: NULL
 key: NULL
 key_len: NULL
 ref: NULL
 rows: 3986232
 filtered: 100.00
 Extra: NULL
*************************** 2. row ***************************
 id: 2
 select_type: UNION
 table: sid
 partitions: NULL
 type: ALL
possible_keys: NULL
 key: NULL
 key_len: NULL
 ref: NULL
 rows: 802682
 filtered: 100.00
 Extra: NULL
*************************** 3. row ***************************
 id: NULL
 select_type: UNION RESULT
 table:  union1,2 
 partitions: NULL
 type: ALL
possible_keys: NULL
 key: NULL
 key_len: NULL
 ref: NULL
 rows: NULL
 filtered: NULL
 Extra: Using temporary

文件涨到 588M 还没结束,我直接给卡了

-rw-r----- 1 yejr imysql 588M Jun 25 10:07 /data/mysql/ibtmp1

第二次测试时,设置了临时表空间文件最大 200M,再执行会报错:

yejr@imysql.com [test] select * from tmp1 union 
 select id,name,aid from sid;
ERROR 1114 (HY000): The table  /var/folders/bv/j4tjn6k54dj5jh2tl8yn6_y00000gn/T/#sql14032_5_8  is full

关于“MySQL 5.7 临时表空间的使用方法”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

向 AI 问一下细节

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-12-04发表,共计3354字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)