数据库根据指定字段去重的案例分析

61次阅读
没有评论

共计 1099 个字符,预计需要花费 3 分钟才能阅读完成。

自动写代码机器人,免费开通

这篇文章主要介绍了数据库根据指定字段去重的案例分析,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让丸趣 TV 小编带着大家一起了解一下。

需求:对一张用户表根据 name/email/card_num 字段去除重复数据;

思路:用 group by 方法可以查询出 去重 后的数据,将这些数据存储到一张临时表中,然后将临时表的数据存储到指定的表中;

误区及解决方案:group by 方法只能获取部分字段(去重指定字段),不能一次获取到完整的数据,但是可以通过 max 函数获取 group by 结果集中的 id,再根据 id 集合查询出全部的记录。

测试思路查询去重后的数据

SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num;

从去重后的数据中获取 id 集合

SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users  GROUP BY name,email,card_num) as T;

根据去重后的数据中获取 id 集合,从源数据中获得记录列表

SELECT * from users  where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);

实际方法根据去重后的数据中获取 id 集合,从源数据中获得记录列表,将这些列表数据存入一个临时表中

create TEMP TABLE tmp_data as SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);

将临时表中的数据存入指定的数据表中,完毕

insert into users_copy1 select * from tmp_data;

检测检测结果是不是和第一步查询去重后的数据总数相同

select count(*) from users_copy1;

测试结果:1.4w 条数据中有 2300 条数据重复,实际运行结果为 0.7s,基本满足现在的需求。

感谢你能够认真阅读完这篇文章,希望丸趣 TV 小编分享数据库根据指定字段去重的案例分析内容对大家有帮助,同时也希望大家多多支持丸趣 TV,关注丸趣 TV 行业资讯频道,遇到问题就找丸趣 TV,详细的解决方法等着你来学习!

向 AI 问一下细节

丸趣 TV 网 – 提供最优质的资源集合!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2024-02-03发表,共计1099字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)