如何辨别真假百度蜘蛛
这个月月初的时候，检查日志发现 发现这个ip 标注自己是 baiduspider
但是抓取网页特别多 一刻不停的抓取 浪费带宽
这个时候就开始怀疑这个ip到时是不是百度的蜘蛛
找到一个检测真假百度蜘蛛ip的办法
如果是win系统的话 输入 cmd 打开命令行
在弹出框中输入nslookup 空格 ip段，返回的结果如果包含crawl.baidu.com就是真的百度蜘蛛
比如这个就是真的
如果不是真的 ，linux的可以直接用iptables 禁止ip访问
ssh里边输入下边的命令
iptables -A INPUT -s 220.101.110.140 -j ACCEPT
输入这个命令 这个ip 就不继续抓取你的网页了
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
