真假搜索引擎蜘蛛IP地址和UA(UserAgent)大全

简介: 真假搜索引擎蜘蛛IP地址和UA(UserAgent)大全这些信息不是一直不变的,这里仅供参考。

真假搜索引擎蜘蛛IP地址和UA(UserAgent)大全

爬虫问题总结youhuiquan.jpg

这些信息不是一直不变的,这里仅供参考。

 

搜索引擎 ASN数据 iP段 iP归属地 Spider & Robot UserAgent 相关资料
百度 baidu.com AS4808
AS4808
AS4808
AS55967
AS23724
AS23724
AS23724
AS4837
AS4837
AS137702
61.135.0.0/16
123.125.0.0/16
111.206.0.0/16
180.76.0.0/20
180.149.128.0/19
220.181.0.0/16
36.110.128.0/17
124.164.0.0/14
116.179.0.0/16
180.97.0.0/18
北京市联通
北京市联通
北京市联通
香港百度云
北京市电信
北京市电信
北京市电信
山西省阳泉市联通
山西省阳泉市联通
江苏省南京市电信百度网讯
Baiduspider 61.135.186.13
123.125.71.138
111.206.221.38
180.76.15.138
180.149.133.38
220.181.32.38
36.110.199.138
124.166.232.138
116.179.32.138
180.97.35.138

UserAgent

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

Baiduspider-image+(+http://www.baidu.com/search/spider.htm)

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;)

Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0

Mozilla/5.0 (Linux; Android 6.0.1; SOV33 Build/35.0.D.0.326) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.91 Mobile Safari/537.36

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 10) NABar/1.1

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 4.4.4) NABar/2.0

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 5.0.2) NABar/2.1

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 5.1)

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 light/1.0 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 6.0)

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 7.0)

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 7.1.1)

 

搜狗 sogou.com AS4134
AS4808
AS4808
AS4808
AS4808
AS23724
AS23724
AS23724
AS23724
AS23724
AS23724
AS9808
AS17623
AS4816
AS23724
123.180.0.0/14
123.125.0.0/16
61.135.0.0/16
123.126.64.0/18
111.202.0.0/16
36.110.128.0/19
220.181.0.0/16
106.120.128.0/17
49.7.0.0/18
218.30.96.0/19
106.38.0.0/16
111.13.0.0/16
58.250.0.0/16
183.36.96.0/19
49.7.64.0/18
河北张家口电信
北京市联通
北京市联通
北京市联通
北京市联通
北京市电信
北京市电信
北京市电信
北京市电信
北京市电信
北京市电信
北京市移动
广东省深圳市联通
广东省深圳市电信
北京市电信
Sogou web spider 123.183.224.138
123.125.125.181
61.135.189.138
123.126.113.138
111.202.100.138
36.110.147.70
220.181.125.138
106.120.173.138
49.7.20.138
218.30.103.50
106.38.241.188
111.13.94.45
58.250.125.37
183.36.114.102
49.7.116.138

UserAgent

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25(compatible; Sogou web spider/4.0; +http://www.sogou.com/docs/help/webmasters.htm#07)

 

360 so.com AS4812
AS4812
AS4837
180.153.0.0/16
180.163.128.0/17
42.224.0.0/12
上海市电信
上海市电信
河南省洛阳市联通
360Spider https://www.so.com/help/spider_ip.html

UserAgent

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36; 360Spider

Mozilla/5.0 (Linux; U; Android 4.0.2; en-us; Galaxy Nexus Build/ICL53F) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30; 360Spider

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider

 

神马 sm.cn AS37963
AS37963
AS37963
42.156.128.0/17
42.120.128.0/17
106.11.144.0/20
浙江省杭州市阿里云
浙江省杭州市阿里云
浙江省杭州市阿里云
YisouSpider 42.156.138.138
42.120.236.138
106.11.159.138

UserAgent

Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1

Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

YisouSpider

 

必应 bing.com AS59067
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
103.25.156.0/24
111.221.16.0/20
157.56.0.0/16
199.30.16.0/20
65.52.0.0/14
13.64.0.0/11
157.55.0.0/16
207.46.0.0/16
40.64.0.0/10
52.224.0.0/11
40.76.0.0/14
40.80.0.0/12
52.160.0.0/11
北京 微软云
香港 微软云
美国 华盛顿昆西
美国 弗吉尼亚州博伊顿
美国 华盛顿昆西
美国 加利福尼亚圣克拉拉
美国 华盛顿昆西
美国 德克萨斯圣安东尼奥
美国 弗吉尼亚
美国 弗吉尼亚
美国 弗吉尼亚州博伊顿
荷兰 阿姆斯特丹
美国 加利福尼亚圣克拉拉
bingbot 103.25.156.138
111.221.28.138
157.56.0.138
199.30.20.138
65.55.210.138
13.66.139.138
157.55.39.138
207.46.13.138
40.77.167.138
52.247.2.138
40.77.168.138
40.90.159.138
52.160.?.?
https://www.bing.com/toolbox/verify-bingbot-verdict

UserAgent

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b

Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 BingPreview/1.0b

Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

 

谷歌 google.com AS24424
AS15169
AS15169
AS15169
AS15169
AS15169
AS3561
203.208.32.0/19
74.125.0.0/16
72.14.192.0/18
64.233.160.0/19
66.249.64.0/19
66.102.0.0/20
64.68.64.0/19
北京市电信
美国 南卡罗来纳州蒙克斯科纳
美国 俄勒冈州达尔斯
美国 爱荷华州康瑟尔布拉夫斯
美国 南卡罗来纳州蒙克斯科纳
美国 Google公司
美国 加利福尼亚州
Googlebot 203.208.60.138
74.125.210.48
72.14.199.224
64.233.172.36
66.249.64.138
66.102.6.138
64.68.90.138

UserAgent

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.74 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot/2.1 (+http://www.google.com/bot.html)

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot-Image/1.0

Googlebot-Video/1.0

 

今日头条 toutiao.com AS4134
AS4808/AS9808/AS23724
AS4837
AS4837
111.224.0.0/14
220.243.128.0/18
110.240.0.0/12
60.8.0.0/15
河北省石家庄市电信
北京市联通BGP
河北省石家庄市联通
河北省张家口市联通
Bytespider 111.225.149.138
220.243.135.138
110.249.201.138
60.8.151.138

UserAgent

Mozilla/5.0 (compatible; Bytespider;[https://zhanzhang.toutiao.com/] AppleWebKit/537.36 (KHTML, like Gecko) Chrome/[70.0.0.0](http://70.0.0.0) Safari/537.36

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

Mozilla/5.0 (iPhone; CPU iPhone OS 7\_1\_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.3072.1769 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2125.1549 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.7282.1240 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2466.1117 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.7004.1867 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.5219.1367 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.1666.1244 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2711.1431 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.7862.1276 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.8502.1519 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.1865.1898 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.1953.1175 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.3062.1821 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.9548.1423 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.5095.1942 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.9321.1429 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.8793.1741 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.1431.1066 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.5735.1944 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.6835.1927 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (*) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/* Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

......

 

相关文章
|
C++
BaGet服务之基础搭建(上)
BaGet服务之基础搭建
732 0
|
3月前
|
人工智能 自然语言处理 安全
Open Claw 2.6.4 Windows 一键部署完整教程(技术分享)
OpenClaw(昵称“小龙虾”)是2026年热门开源AI智能体,GitHub星标超28万。支持本地运行、零代码操作、跨平台部署,可理解自然语言指令,自动完成文件管理、数据处理、浏览器自动化等任务,一键安装,隐私安全。
|
3月前
|
人工智能 自然语言处理 安全
Windows 一键部署 OpenClaw 2.6.6 教程|5 分钟搞定本地 AI 智能体,告别复杂配置(技术分享喜欢点赞)
本文详解Windows一键部署OpenClaw 2.6.6(“小龙虾”)全流程:零代码、全可视化、内置依赖,5分钟搞定本地AI智能体。支持文件整理、浏览器自动化、微信联动等办公场景,附避坑指南与实操指令,小白友好,隐私安全有保障。
/usr/bin/cmake: /usr/local/lib/libcurl.so.4: no version information available
/usr/bin/cmake: /usr/local/lib/libcurl.so.4: no version information available
|
5月前
|
JSON 编解码 Go
Go 新一代网络请求resty!,比net/http好用10倍
resty 是 Go 语言高性能 HTTP 客户端,比 net/http 简洁 10 倍、比 axios 更 Go 风。零依赖、支持链式调用、自动 JSON 编解码、重试/拦截器/Mock/文件上传下载等,Go 1.18+ 可用,一行代码发起请求,大幅提升开发效率与可维护性。(239 字)
567 1
|
弹性计算
查看阿里云服务器IP地址的三种方法
查看阿里云服务器IP地址的三种方法
8573 1
|
弹性计算 Linux Windows
跨账号和同账号的ECS云服务器之间迁移教程
跨账号和同账号的ECS云服务器之间迁移教程
|
安全 调度 iOS开发
macOS Ventura 13.7.6 (22H625) 正式版 ISO、IPSW、PKG 下载
macOS Ventura 13.7.6 (22H625) 正式版 ISO、IPSW、PKG 下载
1512 4
macOS Ventura 13.7.6 (22H625) 正式版 ISO、IPSW、PKG 下载
|
数据采集 监控 安全
2021常见的搜索引擎蜘蛛的User Agent汇总
2021常见的搜索引擎蜘蛛的User Agent汇总
1544 0
|
运维 安全 网络安全
Web安全-企业网络架构
Web安全-企业网络架构
824 1