MySQL如何去重

67次阅读
没有评论

共计 1825 个字符,预计需要花费 5 分钟才能阅读完成。

这篇文章主要介绍了 MySQL 如何去重,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让丸趣 TV 小编带着大家一起了解一下。

需求分析

数据库中存在重复记录,删除保留其中一条(是否重复判断基准为多个字段)

解决方案

碰到这个需求的时候,心里大概是有思路的。最快想到的是可以通过一条 sql 语句来解决,无奈自己对于复杂 sql 语句的道行太浅,所以想找大佬帮忙。

找人帮忙

因为这个需求有点着急,所以最开始想到的是,可以找这方面的同行来解决,然后分享这个问题给同事,结果这货随便百度了一下,就甩给我一个从未用过的 sql 语句,让我自己尝试,心里万匹那啥啥啥奔腾而过 …

自己百度

找到了一条 sql 语句:

DELETE
 vitae a
WHERE
 (a.peopleId, a.seq) IN (
 SELECT
 peopleId,
 seq
 FROM
 vitae
 GROUP BY
 peopleId,
 seq
 HAVING
 count(*)   1
 )
AND rowid NOT IN (
 SELECT
 min(rowid)
 FROM
 vitae
 GROUP BY
 peopleId,
 seq
 HAVING
 count(*)   1
)

这条语句是在【MySQL 中删除重复数据只保留一条】这篇文章里找到的。这条 sql 思路很明显,有以下 3 步:

SELECT peopleId, seq FROM vitae GROUP BY peopleId, seq HAVING count(*) 1 查询出表中重复记录作为条件

SELECT min(rowid) FROM vitae GROUP BY peopleId, seq HAVING count(*) 1 查询出表中重复记录中 ID 最小的值为第二个条件

最后根据以上两个条件,删除 除 重复记录中最小 ID 的其余重复记录

但是很无奈的是,运行这条语句出现了错误,大致报错意思是,不能在查询的时候同时更新这个表。

代码解决

根据上面这个 sql 语句想到或许可以通过代码的方式,两步来达到同样的目的:

先取出重复的数据集

根据查询到的数据集,循环删除其余的重复数据

想法是有了,写出来也很快,但是一运行吓我一跳,竟然需要 116s 左右,然后自己就想一定要找到可以使用的 sql 语句,贴一下代码和运行结果:

完美的【去重留一】SQL

最后在一个技术群里得到了完美的答案,看这条 sql 语句:

DELETE consum_record
 consum_record, 
 (
 SELECT
 min(id) id,
 user_id,
 monetary,
 consume_time
 FROM
 consum_record
 GROUP BY
 user_id,
 monetary,
 consume_time
 HAVING
 count(*)   1
 ) t2
WHERE
 consum_record.user_id = t2.user_id 
 and consum_record.monetary = t2.monetary
 and consum_record.consume_time = t2.consume_time
AND consum_record.id   t2.id;

上面这条 sql 语句,仔细看一下,揣摩出思路也不难,大概也分为 3 步来理解:

(SELECT min(id) id, user_id, monetary, consume_time FROM consum_record GROUP BY user_id, monetary, consume_time HAVING count(*) 1 ) t2 查询出重复记录形成一个集合(临时表 t2),集合里是每种重复记录的最小 ID

consum_record.user_id = t2.user_id and consum_record.monetary = t2.monetary and consum_record.consume_time = t2.consume_time 关联 判断重复基准的字段

根据条件,删除原表中 id 大于 t2 中 id 的记录

看到这个语句的时候,心里想这也太厉害了。这么一个简单的 sql 语句,竟然可以解决这么复杂的问题,涨姿势了~

运行起来也超级快,原先的代码循环执行,需要 116s 左右,而这里 0.3s 就可以了,厉害了~

感谢你能够认真阅读完这篇文章,希望丸趣 TV 小编分享的“MySQL 如何去重”这篇文章对大家有帮助,同时也希望大家多多支持丸趣 TV,关注丸趣 TV 行业资讯频道,更多相关知识等着你来学习!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-04发表,共计1825字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)