mysql表中记录重复处理方案

记录重复的这些问题小编介绍过非常的多了,如果不信可以可以百度找找,下面一起来看小编整理的一篇mysql表中记录重复处理方案,今天写了一个airport表,主要有这么几个字段.

1. //主键id,机场英文名称,机场中文名称,机场三字码,机场所在城市名子
2. id,name,c_name,code,city_name

由于机场三字码是不重复的,所以一开始我为airport表添加唯一索引.

ALTER TABLE `airport` ADD UNIQUE(`code`);

但在写的过程中发现我爬虫爬到的信息有重复的情况,所以先暂时去掉唯一索引.

show index from airport;//查看索引情况

DROP INDEX code ON airport

上下爬虫程序代码:

1. require('phpQuery.php');
2. phpQuery::newDocumentFile("http://******************因为某些原因***********");
3. $res=pq('tbody')->find('tr')->text();

根据自己的业务逻辑插入到表中,很快完成了工作,完成之后,还是要理解三字码重复的问题,我的做法是采用了把所有重复的最小的三字码记录进行删除处理,最早写的代码如下:

1. DELETEFROMairportWHERE
2. idIN(SELECTidFROMairportGROUPBYcodeHAVINGCOUNT(code)>1)--phpfensi.com
3. ANDidNOTIN(SELECTmax(id)FROMairportGROUPBYcodeHAVINGCOUNT(code)>1);

但运行这条sql的时候出错,原因是在选择的时候,不能同步进行删除或更新操作,这时候引用一个临时表吧.

1. createTEMPORARYtabletmpselectidfromairportWHERE
2. idIN(SELECTidFROMairportGROUPBYcodeHAVINGCOUNT(code)>1)
3. ANDidNOTIN(SELECTmax(id)FROMairportGROUPBYcodeHAVINGCOUNT(code)>1);
5. deletefromairportwhereidin(selectidfromtmp)

ok,操作完成,再看看有没有重复的情况:

SELECT id FROM airport GROUP BY code HAVING COUNT(code) > 1

如果有再进行删除,表的三字码已经不重复了,再为三字码添加唯一索引了.