MySQL如何实现分表优化

57次阅读
没有评论

共计 5757 个字符,预计需要花费 15 分钟才能阅读完成。

这篇文章将为大家详细讲解有关 MySQL 如何实现分表优化,丸趣 TV 小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

 
这里的分表逻辑是根据 t_group 表的 user_name 组的个数来分的。
因为这种情况单独 user_name 字段上的索引就属于烂索引。起不了啥名明显的效果。
1、试验 PROCEDURE.
 
DELIMITER $$
Drop PROCEDURE `t_girl`.`sp_split_table`$$
Create PROCEDURE `t_girl`.`sp_split_table`()
BEGIN
declare done int default 0;
declare v_user_name varchar(20) default
declare v_table_name varchar(64) default
— Get all users name.
declare cur1 cursor for select user_name from t_group group by user_name;
— Deal with error or warnings.
declare continue handler for 1329 set done = 1;
— Open cursor.
open cur1;
while done 1
do
fetch cur1 into v_user_name;
if not done then
— Get table name.
set v_table_name = concat(t_group_ ,v_user_name);
— Create new extra table.
set @stmt = concat(create table ,v_table_name, like t_group
prepare s1 from @stmt;
execute s1;
drop prepare s1;
— Load data into it.
set @stmt = concat(insert into ,v_table_name, select * from t_group where user_name = ,v_user_name,
prepare s1 from @stmt;
execute s1;
drop prepare s1;
end if;
end while;
— Close cursor.
close cur1;
— Free variable from memory.
set @stmt = NULL;
END$$
DELIMITER ;
 
2、试验表。
我们用一个有一千万条记录的表来做测试。
 
select count(*) from t_group;
+———-+
| count(*) |
+———-+
| 10388608 |
+———-+
1 row in set (0.00 sec)
 
表结构。
 
mysql desc t_group;
+————-+——————+——+—–+——————-+—————-+
| Field | Type | Null | Key | Default | Extra |
+————-+——————+——+—–+——————-+—————-+
| id | int(10) unsigned | NO | PRI | NULL | auto_increment |
| money | decimal(10,2) | NO | | | |
| user_name | varchar(20) | NO | MUL | | |
| create_time | timestamp | NO | | CURRENT_TIMESTAMP | |
+————-+——————+——+—–+——————-+—————-+
4 rows in set (0.00 sec)
 
索引情况。
 
mysql show index from t_group;
+———+————+——————+————–+————-+———–+————-+———-+——–+——+————+———+
|Table | Non_unique | Key_name | Seq_in_index | Column_name |Collation | Cardinality | Sub_part | Packed | Null | Index_type |Comment |
+———+————+——————+————–+————-+———–+————-+———-+——–+——+————+———+
|t_group | 0 | PRIMARY | 1 | id |A | 10388608 | NULL | NULL | | BTREE | |
| t_group | 1 | idx_user_name | 1 | user_name | A | 8 | NULL | NULL | |BTREE | |
| t_group | 1 | idx_combination1| 1 | user_name | A | 8 | NULL |NULL | | BTREE | |
| t_group | 1 |idx_combination1 | 2 | money | A | 3776| NULL | NULL | | BTREE | |
+———+————+——————+————–+————-+———–+————-+———-+——–+——+————+———+
4 rows in set (0.00 sec)
 
PS:
idx_combination1 这个索引是必须的,因为要对 user_name 来 GROUP BY。此时属于松散索引扫描!当然完了后你可以干掉她。
idx_user_name 这个索引是为了加快单独执行 constant 这种类型的查询。
我们要根据用户名来分表
 mysql select user_name from t_group where 1 group by user_name;
+———–+
| user_name |
+———–+
| david |
| leo |
| livia |
| lucy |
| sarah |
| simon |
| sony |
| sunny |
+———–+
8 rows in set (0.00 sec)
 
所以结果表应该是这样的。
 
mysql show tables like t_group_%
+——————————+
| Tables_in_t_girl (t_group_%) |
+——————————+
| t_group_david |
| t_group_leo |
| t_group_livia |
| t_group_lucy |
| t_group_sarah |
| t_group_simon |
| t_group_sony |
| t_group_sunny |
+——————————+
8 rows in set (0.00 sec)
 
3、对比结果。
 
mysql select count(*) from t_group where user_name = david
+———-+
| count(*) |
+———-+
| 1298576 |
+———-+
1 row in set (1.71 sec)
 
执行了将近 2 秒。
 
mysql select count(*) from t_group_david;
+———-+
| count(*) |
+———-+
| 1298576 |
+———-+
1 row in set (0.00 sec)
 
几乎是瞬间的。
 
mysql select count(*) from t_group where user_name david
+———-+
| count(*) |
+———-+
| 9090032 |
+———-+
1 row in set (9.26 sec)
执行了将近 10 秒,可以想象,这个是实际的项目中是不能忍受的。
mysql select (select count(*) from t_group) – (select count(*) from t_group_david) as total;
+———+
| total |
+———+
| 9090032 |
+———+
1 row in set (0.00 sec)
 
几乎是瞬间的。
我们来看看聚集函数。
对于原表的操作。
 
mysql select min(money),max(money) from t_group where user_name = david
+————+————+
| min(money) | max(money) |
+————+————+
| -6.41 | 500.59 |
+————+————+
1 row in set (0.00 sec)
最小,最大值都是 FULL INDEX SCAN。所以是瞬间的。
mysql select sum(money),avg(money) from t_group where user_name = david
+————–+————+
| sum(money) | avg(money) |
+————–+————+
| 319992383.84 | 246.417910 |
+————–+————+
1 row in set (2.15 sec)
其他聚集函数的结果就不是 FULL INDEX SCAN 了。耗时 2.15 秒。
 
对于小表的操作。
 
mysql select min(money),max(money) from t_group_david;
+————+————+
| min(money) | max(money) |
+————+————+
| -6.41 | 500.59 |
+————+————+
1 row in set (1.50 sec)
 
最大最小值完全是 FULL TABLE SCAN, 耗时 1.50 秒,不划算。以此看来。
 
mysql select sum(money),avg(money) from t_group_david;
+————–+————+
| sum(money) | avg(money) |
+————–+————+
| 319992383.84 | 246.417910 |
+————–+————+
1 row in set (1.68 sec)
 
取得这两个结果也是花了快 2 秒,快了一点。
我们来看看这个小表的结构。
 
mysql desc t_group_david;
+————-+——————+——+—–+——————-+—————-+
| Field | Type | Null | Key | Default | Extra |
+————-+——————+——+—–+——————-+—————-+
| id | int(10) unsigned | NO | PRI | NULL | auto_increment |
| money | decimal(10,2) | NO | | | |
| user_name | varchar(20) | NO | MUL | | |
| create_time | timestamp | NO | | CURRENT_TIMESTAMP | |
+————-+——————+——+—–+——————-+—————-+
4 rows in set (0.00 sec)
 
明显的 user_name 属性是多余的。那么就干掉它。
 
mysql alter table t_group_david drop user_name;
Query OK, 1298576 rows affected (7.58 sec)
Records: 1298576 Duplicates: 0 Warnings: 0
 
现在来重新对小表运行查询
 
mysql select min(money),max(money) from t_group_david;
+————+————+
| min(money) | max(money) |
+————+————+
| -6.41 | 500.59 |
+————+————+
1 row in set (0.00 sec)
 
此时是瞬间的。
 
mysql select sum(money),avg(money) from t_group_david;
+————–+————+
| sum(money) | avg(money) |
+————–+————+
| 319992383.84 | 246.417910 |
+————–+————+
1 row in set (0.94 sec)
 
这次算是控制在一秒以内了。
mysql Aborted
总结一下:分出的小表的属性尽量越少越好。

关于“MySQL 如何实现分表优化”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-07-15发表,共计5757字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)