goodlk

这个查重复，最简单的方法就是排序，但是排了序以后，人工查的话，工作量不小！特别是数据大的，有成千上万条的！

还有一种是自动查重复，要用到涵数！这个网上有很多的资料，我打出来，也成了涉嫌复制！你自行百度一下就OK！

按网上的方法，把涵数筛选完了后，会有标识，再重新排序，把有标识的，就是重复的排在一起，删除掉就OK