在一些网站服务中，除了通过user-agent的身份信息检测外，还限制了客户端的ip地址。如果同一个客户端访问网站服务器的次数过多，比如一秒钟一百次，就会被识别为爬虫，从而限制其客户端ip的访问；或者在访问风险未知的网站时，由于使用个人ip信息造成信息泄露、网络病毒入侵等后果，各种各样的限制给我们的爬虫带来了麻烦，所以在项目中使用爬虫代理是非常有必要的。
爬虫代理的优势
如果你一直使用自己的本地ip地址，去大量、快速、频繁的请求同一个网页，服务器就会识别出这是一个人（因为是同一个ip）在不断请求他的网站，这时为了减轻负担往往会把你的ip封停，不再允许你访问，或者验证你是否是机器。
使用代理ip爬虫可以提高效率，突破网络限制。很多网站会限制用户访问，通过接口信息读取用户的IP地址。由于第三方爬虫代理服务器不止一台，所以用户可以通过切换需要的区域IP也就是模拟多台电脑多个用户来突破限制进行操作。
隐藏真实的 IP 地址。使用代理IP可以隐藏个人真实IP地址，保护个人的网络信息安全，防止被不法分子攻击挟持。高匿名的爬虫代理ip可以隐藏个人的真实IP地址，采用类似中转站的形式转接网络请求，同时不会被识别为代理，可以有效保护网络用户的个人信息安全。
爬虫代理的使用方法
首先是获取代理ip，获取的方式有两种，第一种是免费获取，很多公司都会提供免费的代理ip服务来吸引用户，但就爬虫而言免费的代理ip并不稳定，如果要抓取的数据量在几千甚至上万的级别里，就推荐第二种方式了：付费代理。
付费代理IP比较稳定，而且操作比较简单。通过proxies添加爬虫代理服务器的ip地址，之后可以通过访问来获取自己当下的ip信息。如果不使用代理ip来发送requests请求的话，得到的就是这次请求时所使用的IP，如果你设置了一个代理ip的话，它就会显示你设置的ip。
使用爬虫代理，这是安全高效实现数据爬取的办法。对于有大量数据爬取需求，希望对目标网站隐藏自己的爬取信息，提高爬取效率的人来说，爬虫代理ip是非常不错的选择。
