问题：
有大量的字符串格式的URL，如何从中去除重复的，优化时间空间复杂度
1. 内存够用，将URL存入hash链表，每个URL读入到hash链表中 ，遇到重复的就舍弃，否则加入到链表里面，最后遍历得到所有不重复的URL。空间复杂度M，时间复杂度为O(N+N/M)，M为不重复的URL，N为总URL数，但是M无法预测，所以存在风险，可能内存不足以存储所有的不重复URL。
有大量的字符串格式的URL，如何从中去除重复的，优化时间空间复杂度
1. 内存够用，将URL存入hash链表，每个URL读入到hash链表中 ，遇到重复的就舍弃，否则加入到链表里面，最后遍历得到所有不重复的URL。空间复杂度M，时间复杂度为O(N+N/M)，M为不重复的URL，N为总URL数，但是M无法预测，所以存在风险，可能内存不足以存储所有的不重复URL。
2. 为了解决内存可能不足的问题，需要把hash链表变化成普通的hash表，每个hash表元素指向一个文件文件，这个文件记录了所有该hash值对应的无重复的URL，那么在加入URL的时候就遍历对应文件中的URL，没有重复则加入到文件中。这样做时间复杂度没有提升，但是每次都要读写文件，消耗的时间应该是上一种方式的三倍（依赖于io速度），而对内存的要求比较小。一个改进是加入URL的时候进行排序，这样能减少比对的次数。
本文转自博客园知识天地的博客，原文链接：大量url，如何去重，如需转载请自行联系原博主。
