mysql中怎么实现循环批量插入

55次阅读
没有评论

共计 2045 个字符,预计需要花费 6 分钟才能阅读完成。

自动写代码机器人,免费开通

mysql 中怎么实现循环批量插入,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

数据结构

寻思着分页时标准列分主键列、索引列、普通列 3 种场景,所以,测试表需要包含这 3 种场景,建表语法如下:

drop table if exists `test`.`t_model`;
Create table `test`.`t_model`( 
 `id` bigint NOT NULL AUTO_INCREMENT COMMENT  自增主键 ,
 `uid` bigint COMMENT  业务主键 ,
 `modelid` varchar(50) COMMENT  字符主键 ,
 `modelname` varchar(50) COMMENT  名称 ,
 `desc` varchar(50) COMMENT  描述 ,
 primary key (`id`),
 UNIQUE index `uid_unique` (`uid`),
 key `modelid_index` (`modelid`) USING BTREE
) ENGINE=InnoDB charset=utf8 collate=utf8_bin;

为了方便操作,插入操作使用存储过程通过 while 循环插入有序数据,未验证其他操作方式或循环方式的性能。

执行过程

1、使用最简单的方式直接循环单条插入 1W 条,语法如下:

drop procedure if exists my_procedure; 
delimiter //
create procedure my_procedure()
begin
 DECLARE n int DEFAULT 1;
 WHILE n   10001 DO
 insert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT( id20170831 ,n),CONCAT(name ,n), desc  
 set n = n + 1;
 END WHILE;
delimiter ;

插入 1W 条数据,执行时间大概在 6m7s,按照这个速度,要插入 1000W 级数据,估计要跑几天。

2、于是,构思加个事务提交,是否能加快点性能呢?测试每 1000 条就 commit 一下,语法如下:

delimiter //
create procedure u_head_and_low_pro()
begin
 DECLARE n int DEFAULT 17541;
 WHILE n   10001 DO
 insert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT( id20170831 ,n),CONCAT(name ,n), desc  
 set n = n + 1;
 if n % 1000 = 0 
 then
 commit;
 end if;
 END WHILE;
delimiter ;

执行时间 6 min 16 sec,与不加 commit 执行差别不大,看来,这种方式做批量插入,性能是很低的。

3、使用存储过程生成批量插入语句执行批量插入插入 1W 条,语法如下:

drop procedure IF EXISTS u_head_and_low_pro;
delimiter $$
create procedure u_head_and_low_pro()
begin
 DECLARE n int DEFAULT 1;
 set @exesql =  insert into t_model (uid,modelid,modelname,`desc`) values  
 set @exedata =  
 WHILE n   10001 DO
 set @exedata = concat(@exedata, ( ,n, , , id20170831 ,n, , , name ,n, , , desc ,) 
 if n % 1000 = 0 
 then
 set @exesql = concat(@exesql,@exedata, 
 prepare stmt from @exesql;
 execute stmt;
 DEALLOCATE prepare stmt;
 commit; 
 set @exesql =  insert into t_model (uid,modelid,modelname,`desc`) values  
 set @exedata =  
 else
 set @exedata = concat(@exedata, , 
 end if;
 set n = n + 1;
 END WHILE;
end;$$ 
delimiter ;

关于 mysql 中怎么实现循环批量插入问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注丸趣 TV 行业资讯频道了解更多相关知识。

向 AI 问一下细节

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-12-04发表,共计2045字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)