真假搜索引擎蜘蛛IP地址和UA(UserAgent)大全

简介: 真假搜索引擎蜘蛛IP地址和UA(UserAgent)大全这些信息不是一直不变的,这里仅供参考。

真假搜索引擎蜘蛛IP地址和UA(UserAgent)大全

爬虫问题总结youhuiquan.jpg

这些信息不是一直不变的,这里仅供参考。

 

搜索引擎 ASN数据 iP段 iP归属地 Spider & Robot UserAgent 相关资料
百度 baidu.com AS4808
AS4808
AS4808
AS55967
AS23724
AS23724
AS23724
AS4837
AS4837
AS137702
61.135.0.0/16
123.125.0.0/16
111.206.0.0/16
180.76.0.0/20
180.149.128.0/19
220.181.0.0/16
36.110.128.0/17
124.164.0.0/14
116.179.0.0/16
180.97.0.0/18
北京市联通
北京市联通
北京市联通
香港百度云
北京市电信
北京市电信
北京市电信
山西省阳泉市联通
山西省阳泉市联通
江苏省南京市电信百度网讯
Baiduspider 61.135.186.13
123.125.71.138
111.206.221.38
180.76.15.138
180.149.133.38
220.181.32.38
36.110.199.138
124.166.232.138
116.179.32.138
180.97.35.138

UserAgent

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

Baiduspider-image+(+http://www.baidu.com/search/spider.htm)

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;)

Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0

Mozilla/5.0 (Linux; Android 6.0.1; SOV33 Build/35.0.D.0.326) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.91 Mobile Safari/537.36

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 10) NABar/1.1

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 4.4.4) NABar/2.0

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 5.0.2) NABar/2.1

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 5.1)

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 light/1.0 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 6.0)

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 7.0)

Mozilla/5.0 (Linux; *; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.18 SP-engine/2.14.0 baiduboxapp/11.18.0.12 (Baidu; P1 7.1.1)

 

搜狗 sogou.com AS4134
AS4808
AS4808
AS4808
AS4808
AS23724
AS23724
AS23724
AS23724
AS23724
AS23724
AS9808
AS17623
AS4816
AS23724
123.180.0.0/14
123.125.0.0/16
61.135.0.0/16
123.126.64.0/18
111.202.0.0/16
36.110.128.0/19
220.181.0.0/16
106.120.128.0/17
49.7.0.0/18
218.30.96.0/19
106.38.0.0/16
111.13.0.0/16
58.250.0.0/16
183.36.96.0/19
49.7.64.0/18
河北张家口电信
北京市联通
北京市联通
北京市联通
北京市联通
北京市电信
北京市电信
北京市电信
北京市电信
北京市电信
北京市电信
北京市移动
广东省深圳市联通
广东省深圳市电信
北京市电信
Sogou web spider 123.183.224.138
123.125.125.181
61.135.189.138
123.126.113.138
111.202.100.138
36.110.147.70
220.181.125.138
106.120.173.138
49.7.20.138
218.30.103.50
106.38.241.188
111.13.94.45
58.250.125.37
183.36.114.102
49.7.116.138

UserAgent

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25(compatible; Sogou web spider/4.0; +http://www.sogou.com/docs/help/webmasters.htm#07)

 

360 so.com AS4812
AS4812
AS4837
180.153.0.0/16
180.163.128.0/17
42.224.0.0/12
上海市电信
上海市电信
河南省洛阳市联通
360Spider https://www.so.com/help/spider_ip.html

UserAgent

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36; 360Spider

Mozilla/5.0 (Linux; U; Android 4.0.2; en-us; Galaxy Nexus Build/ICL53F) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30; 360Spider

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider

 

神马 sm.cn AS37963
AS37963
AS37963
42.156.128.0/17
42.120.128.0/17
106.11.144.0/20
浙江省杭州市阿里云
浙江省杭州市阿里云
浙江省杭州市阿里云
YisouSpider 42.156.138.138
42.120.236.138
106.11.159.138

UserAgent

Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1

Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

YisouSpider

 

必应 bing.com AS59067
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
AS8075
103.25.156.0/24
111.221.16.0/20
157.56.0.0/16
199.30.16.0/20
65.52.0.0/14
13.64.0.0/11
157.55.0.0/16
207.46.0.0/16
40.64.0.0/10
52.224.0.0/11
40.76.0.0/14
40.80.0.0/12
52.160.0.0/11
北京 微软云
香港 微软云
美国 华盛顿昆西
美国 弗吉尼亚州博伊顿
美国 华盛顿昆西
美国 加利福尼亚圣克拉拉
美国 华盛顿昆西
美国 德克萨斯圣安东尼奥
美国 弗吉尼亚
美国 弗吉尼亚
美国 弗吉尼亚州博伊顿
荷兰 阿姆斯特丹
美国 加利福尼亚圣克拉拉
bingbot 103.25.156.138
111.221.28.138
157.56.0.138
199.30.20.138
65.55.210.138
13.66.139.138
157.55.39.138
207.46.13.138
40.77.167.138
52.247.2.138
40.77.168.138
40.90.159.138
52.160.?.?
https://www.bing.com/toolbox/verify-bingbot-verdict

UserAgent

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b

Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 BingPreview/1.0b

Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

 

谷歌 google.com AS24424
AS15169
AS15169
AS15169
AS15169
AS15169
AS3561
203.208.32.0/19
74.125.0.0/16
72.14.192.0/18
64.233.160.0/19
66.249.64.0/19
66.102.0.0/20
64.68.64.0/19
北京市电信
美国 南卡罗来纳州蒙克斯科纳
美国 俄勒冈州达尔斯
美国 爱荷华州康瑟尔布拉夫斯
美国 南卡罗来纳州蒙克斯科纳
美国 Google公司
美国 加利福尼亚州
Googlebot 203.208.60.138
74.125.210.48
72.14.199.224
64.233.172.36
66.249.64.138
66.102.6.138
64.68.90.138

UserAgent

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.74 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot/2.1 (+http://www.google.com/bot.html)

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot-Image/1.0

Googlebot-Video/1.0

 

今日头条 toutiao.com AS4134
AS4808/AS9808/AS23724
AS4837
AS4837
111.224.0.0/14
220.243.128.0/18
110.240.0.0/12
60.8.0.0/15
河北省石家庄市电信
北京市联通BGP
河北省石家庄市联通
河北省张家口市联通
Bytespider 111.225.149.138
220.243.135.138
110.249.201.138
60.8.151.138

UserAgent

Mozilla/5.0 (compatible; Bytespider;[https://zhanzhang.toutiao.com/] AppleWebKit/537.36 (KHTML, like Gecko) Chrome/[70.0.0.0](http://70.0.0.0) Safari/537.36

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

Mozilla/5.0 (iPhone; CPU iPhone OS 7\_1\_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.3072.1769 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2125.1549 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.7282.1240 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2466.1117 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.7004.1867 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.5219.1367 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.1666.1244 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2711.1431 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.7862.1276 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.8502.1519 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.1865.1898 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.1953.1175 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.3062.1821 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.9548.1423 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.5095.1942 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.9321.1429 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.8793.1741 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.1431.1066 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.5735.1944 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.6835.1927 Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (*) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/* Mobile Safari/537.36; Bytespider;https://zhanzhang.toutiao.com/

......

 

相关文章
|
人工智能 数据可视化 安全
王炸组合!阿里云 OpenClaw X 飞书 CLI,开启 Agent 基建狂潮!(附带免费使用6个月服务器)
本文详解如何用阿里云Lighthouse一键部署OpenClaw,结合飞书CLI等工具,让AI真正“动手”——自动群发、生成科研日报、整理知识库。核心理念:未来软件应为AI而生,CLI即AI的“手脚”,实现高效、安全、可控的智能自动化。
35421 57
/usr/bin/cmake: /usr/local/lib/libcurl.so.4: no version information available
/usr/bin/cmake: /usr/local/lib/libcurl.so.4: no version information available
|
编解码 数据处理 API
如何用阿里云OSS对图片和视频进行数据处理?
本文介绍了如何利用阿里云对象存储OSS进行图片和视频处理。OSS提供了丰富的功能,如图片的缩放、裁剪、旋转和水印添加等,用户只需在图片URL后附加处理参数即可实现自动化处理。同时,OSS还支持自定义样式模板,便于批量操作。对于视频处理,OSS支持转码、截图、拼接等功能,满足多终端播放需求。通过OSS的API和SDK,开发者可以方便地集成这些功能,提升数据管理效率。
|
存储 数据采集 监控
云上数据安全保护:敏感日志扫描与脱敏实践详解
随着企业对云服务的广泛应用,数据安全成为重要课题。通过对云上数据进行敏感数据扫描和保护,可以有效提升企业或组织的数据安全。本文主要基于阿里云的数据安全中心数据识别功能进行深入实践探索。通过对商品购买日志的模拟,分析了如何使用阿里云的工具对日志数据进行识别、脱敏(3 种模式)处理和基于 StoreView 的查询脱敏方式,从而在保障数据安全的同时满足业务需求。通过这些实践,企业可以有效降低数据泄漏风险,提升数据治理能力和系统安全性。
2516 271
云上数据安全保护:敏感日志扫描与脱敏实践详解
|
API
HarmonyOS 3.1/4项目在DevEco Studio 5.0(HarmonyOS NEXT)版本下使用的问题
有读者在使用《鸿蒙HarmonyOS应用开发入门》书中的源码时遇到问题,主要原因是使用的DevEco Studio版本不同所致。本文提供了三种解决方案:1) 降级DevEco Studio至3.1版本;2) 按照5.0版本修改书中示例;3) 等待并使用《鸿蒙之光HarmonyOS NEXT原生应用开发入门》升级版书籍。
1431 1
|
数据采集 监控 安全
2021常见的搜索引擎蜘蛛的User Agent汇总
2021常见的搜索引擎蜘蛛的User Agent汇总
1657 0
|
JavaScript 算法 Linux
硬件工程师物料清单BOM对比工具
硬件工程师物料清单BOM对比工具
879 1
硬件工程师物料清单BOM对比工具
|
存储 JavaScript 前端开发
在NodeJS中使用npm包进行JS代码的混淆加密
总的来说,使用“javascript-obfuscator”包可以帮助我们在Node.js中轻松地混淆JavaScript代码。通过合理的配置,我们可以使混淆后的代码更难以理解,从而提高代码的保密性。
1593 9
|
运维 安全 网络安全
Web安全-企业网络架构
Web安全-企业网络架构
986 1
|
机器学习/深度学习
函数求导
本文概述了高等数学中函数求导的基本规则,包括常数、幂函数、求和、乘积、商、复合函数、指数函数及三角函数的导数。这些规则是微积分的基础,用于求解各种函数的导数。例如,常数的导数是0,$(x^n)' = n \cdot x^{n-1}$,$(e^x)' = e^x$,$\frac{d}{dx}\sin(x) = \cos(x)$。更复杂的函数可能需要使用隐函数或参数方程求导等高级技术。
2077 1

热门文章

最新文章