真假搜索引擎蜘蛛IP地址和UA(UserAgent)大全

简介: 真假搜索引擎蜘蛛IP地址和UA(UserAgent)大全这些信息不是一直不变的,这里仅供参考。

真假搜索引擎蜘蛛IP地址和UA(UserAgent)大全

爬虫问题总结youhuiquan.jpg

这些信息不是一直不变的,这里仅供参考。

 

搜索引擎 ASN数据 iP段 iP归属地 Spider & Robot UserAgent 相关资料
百度 baidu.com AS4808
AS4808
AS4808
AS55967
AS23724
AS23724
AS23724
AS4837
AS4837
AS137702
61.135.0.0/16
123.125.0.0/16
111.206.0.0/16
180.76.0.0/20
180.149.128.0/19
220.181.0.0/16
36.110.128.0/17
124.164.0.0/14
116.179.0.0/16
180.97.0.0/18
北京市联通
北京市联通
北京市联通
香港百度云
北京市电信
北京市电信
北京市电信
山西省阳泉市联通
山西省阳泉市联通
江苏省南京市电信百度网讯
Baiduspider 61.135.186.13
123.125.71.138
111.206.221.38
180.76.15.138
180.149.133.38
220.181.32.38
36.110.199.138
124.166.232.138
116.179.32.138
180.97.35.138

UserAgent

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

Baiduspider-image+(+http://www.baidu.com/search/spider.htm)

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;)

Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0

Mozilla/5.0 (Linux; Android 6.0.1; SOV33 Build/35.0.D.0.326) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.91 Mobile Safari/537.36

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 10) NABar/1.1

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 4.4.4) NABar/2.0

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 5.0.2) NABar/2.1

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 5.1)

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 light/1.0 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 6.0)

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 7.0)

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 7.1.1)

 

搜狗 sogou.com AS4134
AS4808
AS4808
AS4808
AS4808
AS23724
AS23724
AS23724
AS23724
AS23724
AS23724
AS9808
AS17623
AS4816
AS23724
123.180.0.0/14
123.125.0.0/16
61.135.0.0/16
123.126.64.0/18
111.202.0.0/16
36.110.128.0/19
220.181.0.0/16
106.120.128.0/17
49.7.0.0/18
218.30.96.0/19
106.38.0.0/16
111.13.0.0/16
58.250.0.0/16
183.36.96.0/19
49.7.64.0/18
河北张家口电信
北京市联通
北京市联通
北京市联通
北京市联通
北京市电信
北京市电信
北京市电信
北京市电信
北京市电信
北京市电信
北京市移动
广东省深圳市联通
广东省深圳市电信
北京市电信
Sogou web spider 123.183.224.138
123.125.125.181
61.135.189.138
123.126.113.138
111.202.100.138
36.110.147.70
220.181.125.138
106.120.173.138
49.7.20.138
218.30.103.50
106.38.241.188
111.13.94.45
58.250.125.37
183.36.114.102
49.7.116.138

UserAgent

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25(compatible; Sogou web spider/4.0; +http://www.sogou.com/docs/help/webmasters.htm#07)

 

360 so.com AS4812
AS4812
AS4837
180.153.0.0/16
180.163.128.0/17
42.224.0.0/12
上海市电信
上海市电信
河南省洛阳市联通
360Spider https://www.so.com/help/spider_ip.html

UserAgent

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36; 360Spider

Mozilla/5.0 (Linux; U; Android 4.0.2; en-us; Galaxy Nexus Build/ICL53F) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30; 360Spider

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider

 

神马 sm.cn AS37963
AS37963
AS37963
42.156.128.0/17
42.120.128.0/17
106.11.144.0/20
浙江省杭州市阿里云
浙江省杭州市阿里云
浙江省杭州市阿里云
YisouSpider 42.156.138.138
42.120.236.138
106.11.159.138

UserAgent

Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1

Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

YisouSpider

 

必应 bing.com AS59067
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
103.25.156.0/24
111.221.16.0/20
157.56.0.0/16
199.30.16.0/20
65.52.0.0/14
13.64.0.0/11
157.55.0.0/16
207.46.0.0/16
40.64.0.0/10
52.224.0.0/11
40.76.0.0/14
40.80.0.0/12
52.160.0.0/11
北京 微软云
香港 微软云
美国 华盛顿昆西
美国 弗吉尼亚州博伊顿
美国 华盛顿昆西
美国 加利福尼亚圣克拉拉
美国 华盛顿昆西
美国 德克萨斯圣安东尼奥
美国 弗吉尼亚
美国 弗吉尼亚
美国 弗吉尼亚州博伊顿
荷兰 阿姆斯特丹
美国 加利福尼亚圣克拉拉
bingbot 103.25.156.138
111.221.28.138
157.56.0.138
199.30.20.138
65.55.210.138
13.66.139.138
157.55.39.138
207.46.13.138
40.77.167.138
52.247.2.138
40.77.168.138
40.90.159.138
52.160.?.?
https://www.bing.com/toolbox/verify-bingbot-verdict

UserAgent

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b

Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 BingPreview/1.0b

Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

 

谷歌 google.com AS24424
AS15169
AS15169
AS15169
AS15169
AS15169
AS3561
203.208.32.0/19
74.125.0.0/16
72.14.192.0/18
64.233.160.0/19
66.249.64.0/19
66.102.0.0/20
64.68.64.0/19
北京市电信
美国 南卡罗来纳州蒙克斯科纳
美国 俄勒冈州达尔斯
美国 爱荷华州康瑟尔布拉夫斯
美国 南卡罗来纳州蒙克斯科纳
美国 Google公司
美国 加利福尼亚州
Googlebot 203.208.60.138
74.125.210.48
72.14.199.224
64.233.172.36
66.249.64.138
66.102.6.138
64.68.90.138

UserAgent

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.74 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot/2.1 (+http://www.google.com/bot.html)

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot-Image/1.0

Googlebot-Video/1.0

 

今日头条 toutiao.com AS4134
AS4808/AS9808/AS23724
AS4837
AS4837
111.224.0.0/14
220.243.128.0/18
110.240.0.0/12
60.8.0.0/15
河北省石家庄市电信
北京市联通BGP
河北省石家庄市联通
河北省张家口市联通
Bytespider 111.225.149.138
220.243.135.138
110.249.201.138
60.8.151.138

UserAgent

Mozilla/5.0 (compatible; Bytespider;[https://zhanzhang.toutiao.com/] AppleWebKit/537.36 (KHTML, like Gecko) Chrome/[70.0.0.0](http://70.0.0.0) Safari/537.36

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

Mozilla/5.0 (iPhone; CPU iPhone OS 7\_1\_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.3072.1769 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2125.1549 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.7282.1240 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2466.1117 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.7004.1867 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.5219.1367 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.1666.1244 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2711.1431 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.7862.1276 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.8502.1519 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.1865.1898 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.1953.1175 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.3062.1821 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.9548.1423 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.5095.1942 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.9321.1429 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.8793.1741 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.1431.1066 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.5735.1944 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.6835.1927 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (*) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/* Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

......

 

相关文章
|
XML Java API
百度搜索:蓝易云【Servlet、HTTP详细解释!】
总结: Servlet是用Java编写的服务器端程序,用于处理客户端发送的HTTP请求并生成HTTP响应。HTTP是一种用于在Web上进行数据通信的协议,它定义了客户端和服务器之间的通信规则。Servlet基于HTTP协议工作,处理HTTP请求、生成HTTP响应,并可以使用HTTP会话管理客户端状态。这种组合使得Servlet成为开发Web应用程序的重要工具。
100 0
|
11月前
|
存储 安全 JavaScript
百度搜索:蓝易云【HTTP/HTTPS以及XSS攻击详解。】
综上所述,HTTP是一种用于在Web上传输数据的协议,而HTTPS是HTTP的安全版本,通过加密和身份验证确保通信的安全性。XSS攻击是一种利用Web应用程序的安全漏洞在用户浏览器上执行恶意脚本的攻击。
67 1
|
API 数据安全/隐私保护
百度搜索:蓝易云【常见HTTP状态码的错误有哪些?对应的解决方案是什么?】
以上是一些常见的HTTP状态码错误及相应的解决方案。在实际应用中,还可能遇到其他状态码错误,根据具体情况进行排查和解决。重要的是理解每个错误的含义,并采取适当的措施来解决问题。
48 3
|
前端开发 JavaScript API
百度搜索:蓝易云【网络通信协议-HTTP协议详解!】
总之,HTTP 是一种基于请求-响应模型的应用层协议,用于在 Web 浏览器和 Web 服务器之间传输超文本和其他资源。它采用简单的文本格式进行通信,支持各种方法和状态码,具有无连接和无状态的特点。HTTP 在互联网中扮演着重要的角色,成为实现 Web 通信和数据交换的基础协议。
231 4
|
数据采集 监控 搜索推荐
谷歌收录之后的URL是否会掉?
答:GSI收录服务只管促成网站页面收录。收录之后是否会被谷歌清除索引,这个取决于你的页面内容质量,而非取决于GSI服务。 谷歌收录机制概览 谷歌的收录原则 谷歌搜索引擎通过其复杂的算法确定哪些网页应该被收录。 这不仅基于网站的内容质量,还取决于其技术优化、用户体验和外部引用。 收录后的监控 一旦谷歌收录了URL,它将继续监控这些页面。 任何重大变化,如内容更新或链接丢失,都可能导致页面的排名波动。
96 0
谷歌收录之后的URL是否会掉?
|
存储 缓存
百度搜索:【蓝易云】 计算机网络【HTTP协议】详解
HTTP(HyperText Transfer Protocol)协议是一种用于传输超文本的应用层协议。HTTP协议是Web的基础,通过HTTP协议,浏览器可以向Web服务器请求页面和数据,并在服务器响应后将它们呈现在客户端。
105 0
|
Web App开发 搜索推荐 .NET
识别真假搜索引擎(搜索蜘蛛)方法(baidu,google,Msn,sogou,soso等)
http://www.useragentstring.com/pages/useragentstring.php   今天分析研究了两个网站的 Apache 日志,分析日志虽然很无聊,但却是很有意义的事情,比如跟踪 SPAM 的 User Agent。
3568 0
www.20200824.com百度蜘蛛爬行规则和收录要素
百度蜘蛛爬行规则和收录要素:https://www.20200824.com
175 0
www.20200824.com百度蜘蛛爬行规则和收录要素
|
数据采集
百度蜘蛛ip段大全分析爬虫式
百度蜘蛛ip段大全分析爬虫式:https://www.20200824.com
433 0
|
Web App开发
淘宝 封住baidu的蜘蛛了吗?
     首先祝大家月饼节快乐!            由于一开始没有弄清楚robots.txt和robot.txt,造成了一些错误,感谢“那山那人那狗 [未注册用户] ”的提醒。所以对原来的内容进行了一下修改。
1139 0