如何合并去重MySQL数据表

共计 1540 个字符，预计需要花费 4 分钟才能阅读完成。

自动写代码机器人，免费开通

这篇文章将为大家详细讲解有关如何合并去重 MySQL 数据表，文章内容质量较高，因此丸趣 TV 小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。

场景：

爬取的数据生成数据表，结构与另一个主表相同，需要进行合并 + 去重

解决：（直接举例）

首先创建两个表 pep，pep2，其中 pep 是主表

CREATE TABLE IF NOT EXISTS `pep/pep2`(
`id` INT UNSIGNED AUTO_INCREMENT,
`no` VARCHAR(100) NOT NULL,
PRIMARY KEY ( `id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

然后向 pep 中插入两条数据，pep2 中插入一条与 pep 中相同的一条数据

insert into pep(no) values( abc 
insert into pep(no) values( caa 
insert into pep2(no) values(abc

将 pep2 的数据插入 pep 中

insert into pep (no) select no from pep2;

分组去重创建新的临时表 tmp

create table tmp select id,no from pep group by no;

注意：创建完这个表的 id 字段类型已经不是主键自增

  可能也会报错
 ```Syntax error or access violation: 1055 Expression #1 of SELECT 
 list is not in GROUP BY clause and contains nonaggregated 
 column  XXX.Y.ZZZZ  which is not functionally dependent on 
 columns in GROUP BY clause; this is incompatible with
 sql_mode=only_full_group_by
 ```
  解决：执行以下两个命令： ```
 mysql  set global sql_mode= STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION 
 
 mysql  set session sql_mode= STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION 
 ```

删除 pep 表，并将 tmp 表重命名为 pep

drop table pep;
alter table tmp rename to pep;

查看 desc 结构和 select * from pep 发现 id 的字段类型变了，这里需要改回原来的类型；

alter table pep add primary key (id);
alter table pep modify id int auto_increment;

还有可以使用 join 来做去重，更快的还可以添加一个字段（可以是几个字段 + 起来的的 md5 值），给这个字段创建一个唯一索引 unique，以后插入数据的时候，自动回过滤掉重复的数据。

关于如何合并去重 MySQL 数据表就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。

向 AI 问一下细节