前言
验证码是阻挡机器人攻击的有效实践，网络爬虫，又被称为网络机器人，是按照一定的规则，自动地抓取网络信息和数据的程序或者脚本。如何防控，这里简单提供几个小Tips。
使用nginx的自带功能
通过对httpuseragent阻塞来实现，包括GET/POST方式的请求，以nginx为例。
拒绝以wget方式的httpuseragent，增加如下内容：
Block httpuseragent -wgetif($http_user_agent ~* (Wget)) { return 403; }
如何拒绝多种httpuseragent，内容如下：
if($http_user_agent ~(agent1|agent2|Foo|Wget|CatallSpider|AcoiRobot)) { return 403; }
限制User-Agent字段
User-Agent字段能识别用户所使用的操作系统、版本、CPU、浏览器等信息，如果请求来自非浏览器，就能识别其为爬虫，阻止爬虫抓取网站信息。
限制IP或账号
根据业务需求，要求用户通过验证码后才能使用某些功能或权限。当同一IP、同一设备在一定时间内访问网站的次数，系统自动限制其访问浏览。只有在输入正确的验证码之后才能继续访问。
验证码拦截
在登录页等页面，添加验证码，以识别是正常流量还是恶意爬虫，也是一种基本的操作。
HTML代码：
<scriptsrc="captcha.js?appid=xxx"></script><script>kg.captcha({ // 绑定元素，验证框显示区域bind: "#captchaBox3", // 验证成功事务处理success: function(e) { console.log(e); document.getElementById('kgCaptchaToken').value=e['token'] }, // 验证失败事务处理failure: function(e) { console.log(e); }, // 点击刷新按钮时触发refresh: function(e) { console.log(e); } }); </script><divid="captchaBox3">载入中 ...</div><inputtype="hidden"name="kgCaptchaToken"value=""/>
Python代码：
fromwsgiref.simple_serverimportmake_serverfromKgCaptchaSDKimportKgCaptchadefstart(environ, response): # 填写你的 AppId，在应用管理中获取AppID="xxx"# 填写你的 AppSecret，在应用管理中获取AppSecret="xxx"request=KgCaptcha(AppID, AppSecret) # 填写应用服务域名，在应用管理中获取request.appCdn="https://cdn.kgcaptcha.com"# 请求超时时间，秒request.connectTimeout=10# 用户id/登录名/手机号等信息，当安全策略中的防控等级为3时必须填写request.userId="kgCaptchaDemo"# 使用其它 WEB 框架时请删除 request.parse，使用框架提供的方法获取以下相关参数parseEnviron=request.parse(environ) # 前端验证成功后颁发的 token，有效期为两分钟request.token=parseEnviron["post"].get("kgCaptchaToken", "") # 前端 _POST["kgCaptchaToken"]# 客户端IP地址request.clientIp=parseEnviron["ip"] # 客户端浏览器信息request.clientBrowser=parseEnviron["browser"] # 来路域名request.domain=parseEnviron["domain"] # 发送请求requestResult=request.sendRequest() ifrequestResult.code==0: # 验证通过逻辑处理html="验证通过"else: # 验证失败逻辑处理html=f"{requestResult.msg} - {requestResult.code}"response("200 OK", [("Content-type", "text/html; charset=utf-8")]) return [bytes(str(html), encoding="utf-8")] httpd=make_server("0.0.0.0", 8088, start) # 设置调试端口 http://localhost:8088/httpd.serve_forever()
最后
SDK开源地址：KgCaptcha (KgCaptcha) · GitHub，顺便做了一个演示：凯格行为验证码在线体验
