真假搜索引擎蜘蛛IP地址和UA(UserAgent)大全

简介: 真假搜索引擎蜘蛛IP地址和UA(UserAgent)大全这些信息不是一直不变的,这里仅供参考。

真假搜索引擎蜘蛛IP地址和UA(UserAgent)大全

爬虫问题总结youhuiquan.jpg

这些信息不是一直不变的,这里仅供参考。

 

搜索引擎 ASN数据 iP段 iP归属地 Spider & Robot UserAgent 相关资料
百度 baidu.com AS4808
AS4808
AS4808
AS55967
AS23724
AS23724
AS23724
AS4837
AS4837
AS137702
61.135.0.0/16
123.125.0.0/16
111.206.0.0/16
180.76.0.0/20
180.149.128.0/19
220.181.0.0/16
36.110.128.0/17
124.164.0.0/14
116.179.0.0/16
180.97.0.0/18
北京市联通
北京市联通
北京市联通
香港百度云
北京市电信
北京市电信
北京市电信
山西省阳泉市联通
山西省阳泉市联通
江苏省南京市电信百度网讯
Baiduspider 61.135.186.13
123.125.71.138
111.206.221.38
180.76.15.138
180.149.133.38
220.181.32.38
36.110.199.138
124.166.232.138
116.179.32.138
180.97.35.138

UserAgent

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

Baiduspider-image+(+http://www.baidu.com/search/spider.htm)

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;)

Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0

Mozilla/5.0 (Linux; Android 6.0.1; SOV33 Build/35.0.D.0.326) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.91 Mobile Safari/537.36

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 10) NABar/1.1

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 4.4.4) NABar/2.0

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 5.0.2) NABar/2.1

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 5.1)

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 light/1.0 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 6.0)

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 7.0)

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 7.1.1)

 

搜狗 sogou.com AS4134
AS4808
AS4808
AS4808
AS4808
AS23724
AS23724
AS23724
AS23724
AS23724
AS23724
AS9808
AS17623
AS4816
AS23724
123.180.0.0/14
123.125.0.0/16
61.135.0.0/16
123.126.64.0/18
111.202.0.0/16
36.110.128.0/19
220.181.0.0/16
106.120.128.0/17
49.7.0.0/18
218.30.96.0/19
106.38.0.0/16
111.13.0.0/16
58.250.0.0/16
183.36.96.0/19
49.7.64.0/18
河北张家口电信
北京市联通
北京市联通
北京市联通
北京市联通
北京市电信
北京市电信
北京市电信
北京市电信
北京市电信
北京市电信
北京市移动
广东省深圳市联通
广东省深圳市电信
北京市电信
Sogou web spider 123.183.224.138
123.125.125.181
61.135.189.138
123.126.113.138
111.202.100.138
36.110.147.70
220.181.125.138
106.120.173.138
49.7.20.138
218.30.103.50
106.38.241.188
111.13.94.45
58.250.125.37
183.36.114.102
49.7.116.138

UserAgent

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25(compatible; Sogou web spider/4.0; +http://www.sogou.com/docs/help/webmasters.htm#07)

 

360 so.com AS4812
AS4812
AS4837
180.153.0.0/16
180.163.128.0/17
42.224.0.0/12
上海市电信
上海市电信
河南省洛阳市联通
360Spider https://www.so.com/help/spider_ip.html

UserAgent

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36; 360Spider

Mozilla/5.0 (Linux; U; Android 4.0.2; en-us; Galaxy Nexus Build/ICL53F) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30; 360Spider

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider

 

神马 sm.cn AS37963
AS37963
AS37963
42.156.128.0/17
42.120.128.0/17
106.11.144.0/20
浙江省杭州市阿里云
浙江省杭州市阿里云
浙江省杭州市阿里云
YisouSpider 42.156.138.138
42.120.236.138
106.11.159.138

UserAgent

Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1

Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

YisouSpider

 

必应 bing.com AS59067
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
103.25.156.0/24
111.221.16.0/20
157.56.0.0/16
199.30.16.0/20
65.52.0.0/14
13.64.0.0/11
157.55.0.0/16
207.46.0.0/16
40.64.0.0/10
52.224.0.0/11
40.76.0.0/14
40.80.0.0/12
52.160.0.0/11
北京 微软云
香港 微软云
美国 华盛顿昆西
美国 弗吉尼亚州博伊顿
美国 华盛顿昆西
美国 加利福尼亚圣克拉拉
美国 华盛顿昆西
美国 德克萨斯圣安东尼奥
美国 弗吉尼亚
美国 弗吉尼亚
美国 弗吉尼亚州博伊顿
荷兰 阿姆斯特丹
美国 加利福尼亚圣克拉拉
bingbot 103.25.156.138
111.221.28.138
157.56.0.138
199.30.20.138
65.55.210.138
13.66.139.138
157.55.39.138
207.46.13.138
40.77.167.138
52.247.2.138
40.77.168.138
40.90.159.138
52.160.?.?
https://www.bing.com/toolbox/verify-bingbot-verdict

UserAgent

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b

Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 BingPreview/1.0b

Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

 

谷歌 google.com AS24424
AS15169
AS15169
AS15169
AS15169
AS15169
AS3561
203.208.32.0/19
74.125.0.0/16
72.14.192.0/18
64.233.160.0/19
66.249.64.0/19
66.102.0.0/20
64.68.64.0/19
北京市电信
美国 南卡罗来纳州蒙克斯科纳
美国 俄勒冈州达尔斯
美国 爱荷华州康瑟尔布拉夫斯
美国 南卡罗来纳州蒙克斯科纳
美国 Google公司
美国 加利福尼亚州
Googlebot 203.208.60.138
74.125.210.48
72.14.199.224
64.233.172.36
66.249.64.138
66.102.6.138
64.68.90.138

UserAgent

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.74 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot/2.1 (+http://www.google.com/bot.html)

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot-Image/1.0

Googlebot-Video/1.0

 

今日头条 toutiao.com AS4134
AS4808/AS9808/AS23724
AS4837
AS4837
111.224.0.0/14
220.243.128.0/18
110.240.0.0/12
60.8.0.0/15
河北省石家庄市电信
北京市联通BGP
河北省石家庄市联通
河北省张家口市联通
Bytespider 111.225.149.138
220.243.135.138
110.249.201.138
60.8.151.138

UserAgent

Mozilla/5.0 (compatible; Bytespider;[https://zhanzhang.toutiao.com/] AppleWebKit/537.36 (KHTML, like Gecko) Chrome/[70.0.0.0](http://70.0.0.0) Safari/537.36

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

Mozilla/5.0 (iPhone; CPU iPhone OS 7\_1\_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.3072.1769 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2125.1549 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.7282.1240 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2466.1117 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.7004.1867 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.5219.1367 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.1666.1244 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2711.1431 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.7862.1276 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.8502.1519 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.1865.1898 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.1953.1175 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.3062.1821 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.9548.1423 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.5095.1942 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.9321.1429 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.8793.1741 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.1431.1066 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.5735.1944 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.6835.1927 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (*) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/* Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

......

 

相关文章
|
XML Java API
百度搜索:蓝易云【Servlet、HTTP详细解释!】
总结: Servlet是用Java编写的服务器端程序,用于处理客户端发送的HTTP请求并生成HTTP响应。HTTP是一种用于在Web上进行数据通信的协议,它定义了客户端和服务器之间的通信规则。Servlet基于HTTP协议工作,处理HTTP请求、生成HTTP响应,并可以使用HTTP会话管理客户端状态。这种组合使得Servlet成为开发Web应用程序的重要工具。
99 0
|
5天前
|
数据安全/隐私保护 Windows
限制访问网站、过滤特定网址、禁止访问指定网站的方法
许多公司出于管理员工上网行为的需要,经常限制电脑访问一些网站例如游戏网站、购物网站或是视频网站等等
|
5月前
各种浏览器的userAgent收集
各种浏览器的userAgent收集
60 2
|
11月前
|
存储 安全 JavaScript
百度搜索:蓝易云【HTTP/HTTPS以及XSS攻击详解。】
综上所述,HTTP是一种用于在Web上传输数据的协议,而HTTPS是HTTP的安全版本,通过加密和身份验证确保通信的安全性。XSS攻击是一种利用Web应用程序的安全漏洞在用户浏览器上执行恶意脚本的攻击。
67 1
|
API 数据安全/隐私保护
百度搜索:蓝易云【常见HTTP状态码的错误有哪些?对应的解决方案是什么?】
以上是一些常见的HTTP状态码错误及相应的解决方案。在实际应用中,还可能遇到其他状态码错误,根据具体情况进行排查和解决。重要的是理解每个错误的含义,并采取适当的措施来解决问题。
47 3
|
XML JSON 数据格式
百度搜索:蓝易云【HTTP 中 POST 提交数据的四种方式详解】
以上四种方式都是常见的POST提交数据的方式,选择适当的方式取决于具体的需求和数据类型。在实际开发中,根据不同的场景和后端服务器的要求来选择合适的方式进行数据的提交和处理。
121 0
|
数据采集 监控 安全
2021常见的搜索引擎蜘蛛的User Agent汇总
2021常见的搜索引擎蜘蛛的User Agent汇总
847 0
|
Web App开发 搜索推荐 .NET
识别真假搜索引擎(搜索蜘蛛)方法(baidu,google,Msn,sogou,soso等)
http://www.useragentstring.com/pages/useragentstring.php   今天分析研究了两个网站的 Apache 日志,分析日志虽然很无聊,但却是很有意义的事情,比如跟踪 SPAM 的 User Agent。
3568 0
www.20200824.com百度蜘蛛爬行规则和收录要素
百度蜘蛛爬行规则和收录要素:https://www.20200824.com
173 0
www.20200824.com百度蜘蛛爬行规则和收录要素
|
数据采集 Python
Python爬虫:正则匹配网址中的数字
Python爬虫:正则匹配网址中的数字
168 0