URL 去重在我们日常工作中和面试中很常遇到，比如这些：
可以看出，包括阿里，网易云、优酷、作业帮等知名互联网公司都出现过类似的面试题，而且和 URL 去重比较类似的，如 IP 黑/白名单判断等也经常出现在我们的工作中，所以我们本文就来“盘一盘”URL 去重的问题。
URL 去重思路
在不考虑业务场景和数据量的情况下，我们可以使用以下方案来实现 URL 的重复判断：
- 使用 Java 的 Set 集合，根据添加时的结果来判断 URL 是否重复（添加成功表示 URL 不重复）；
- 使用 Redis 中的 Set 集合，根据添加时的结果来判断 URL 是否重复；
- 将 URL 都存储在数据库中，再通过 SQL 语句判断是否有重复的 URL；
- 把数据库中的 URL 一列设置为唯一索引，根据添加时的结果来判断 URL 是否重复；
- 使用 Guava 的布隆过滤器来实现 URL 判重；
- 使用 Redis 的布隆过滤器来实现 URL 判重。
以上方案的具体实现如下。
URL 去重实现方案
1.使用 Java 的 Set 集合判重
Set 集合天生具备不可重复性，使用它只能存储值不相同的元素，如果值相同添加就会失败，因此我们可以通过添加 Set 集合时的结果来判定 URL 是否重复，实现代码如下：
public class URLRepeat { // 待去重 URL public static final String[] URLS = { "www.apigo.cn", "www.baidu.com", "www.apigo.cn" }; public static void main(String[] args) { Set<String> set = new HashSet(); for (int i = 0; i < URLS.length; i++) { String url = URLS[i]; boolean result = set.add(url); if (!result) { // 重复的 URL System.out.println("URL 已存在了：" + url); } } } }
程序的执行结果为：
URL 已存在了：www.apigo.cn
从上述结果可以看出，使用 Set 集合可以实现 URL 的判重功能。
2.Redis Set 集合去重
使用 Redis 的 Set 集合的实现思路和 Java 中的 Set 集合思想思路是一致的，都是利用 Set 的不可重复性实现的，我们先使用 Redis 的客户端 redis-cli 来实现一下 URL 判重的示例：
从上述结果可以看出，当添加成功时表示 URL 没有重复，但添加失败时（结果为 0）表示此 URL 已经存在了。
我们再用代码的方式来实现一下 Redis 的 Set 去重，实现代码如下：
// 待去重 URL public static final String[] URLS = { "www.apigo.cn", "www.baidu.com", "www.apigo.cn" }; @Autowired RedisTemplate redisTemplate; @RequestMapping("/url") public void urlRepeat() { for (int i = 0; i < URLS.length; i++) { String url = URLS[i]; Long result = redisTemplate.opsForSet().add("urlrepeat", url); if (result == 0) { // 重复的 URL System.out.println("URL 已存在了：" + url); } } }
以上程序的执行结果为：
URL 已存在了：www.apigo.cn
以上代码中我们借助了 Spring Data 中的 RedisTemplate 实现的，在 Spring Boot 项目中要使用 RedisTemplate 对象我们需要先引入 spring-boot-starter-data-redis 框架，配置信息如下：
<!-- 添加操作 RedisTemplate 引用 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency>
然后需要再项目中配置 Redis 的连接信息，在 application.properties 中配置如下内容：
spring.redis.host=127.0.0.1 spring.redis.port=6379 #spring.redis.password=123456 # Redis 服务器密码，有密码的话需要配置此项
经过以上两个步骤之后，我们就可以在 Spring Boot 的项目中正常的使用 RedisTemplate 对象来操作 Redis 了。
