验证 Googlebot (检查是否为真的Google机器人)

简介: 您可以验证访问您服务器的网页抓取工具是否确实是 Googlebot(还是其他 Google 用户代理)。如果您担心自称是 Googlebot 的垃圾内容发布者或其他麻烦制造者访问您的网站,则会发现该方法非常有用。

您可以验证访问您服务器的网页抓取工具是否确实是 Googlebot(还是其他 Google 用户代理)。如果您担心自称是 Googlebot 的垃圾内容发布者或其他麻烦制造者访问您的网站,则会发现该方法非常有用。Google 不会发布一个公开的 IP 地址列表供网站站长添加到白名单。这是因为这些 IP 地址范围可能会发生变化,从而给已对其进行硬编码的网站站长带来麻烦。因此,您必须按照下述方法运行 DNS 查找。

要验证 Googlebot 是否为调用方,请执行以下操作:

  1. 使用 host 命令对您日志中访问服务器的 IP 地址运行反向 DNS 查找。
  2. 验证该域名是否位于 googlebot.com 或 google.com 中。
  3. 对在第 1 步中使用 host 命令检索到的域名运行正向 DNS 查找。验证该域名与您日志中访问服务器的原始 IP 地址是否一致。

示例 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

 

示例 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

 

https://support.google.com/webmasters/answer/80553

目录
相关文章
|
6月前
|
机器人 API
钉钉里{"code: 400, 错误描述:机器人权限校验不通过;解决方案:请登陆开放平台后台,检查机器人是否归属于token对应的主应用名下 请问场景机器人-发消息-这个报错什么原因导致的啊?
钉钉里{"code: 400, 错误描述:机器人权限校验不通过;解决方案:请登陆开放平台后台,检查机器人是否归属于token对应的主应用名下 请问场景机器人-发消息-这个报错什么原因导致的啊?
392 0
|
5月前
|
缓存 机器人 网络安全
解决steam错误提示“您对 CAPTCHA 的响应似乎无效,请在下方重新验证您不是机器人”的解决办法
在使用 Steam 的过程中,许多新手用户可能会遇到这样一个问题:当他们试图完成注册或其他操作时,系统提示“您对 CAPTCHA 的响应似乎无效,请在下方重新验证您不是机器人。”即使多次尝试,错误提示仍然出现,阻碍了用户的下一步操作。这种情况可能令人沮丧,但了解其背后的原因和解决办法可以帮助我们顺利解决这个问题。
4369 11
|
存储 弹性计算 JavaScript
基于阿里云短信服务的防机器人验证
基于阿里云相关产品和服务实现一个手机验证码登录的功能,防止机器人批量注册,服务端采用阿里云ECS服务器,程序语言选用JAVA,服务器软件选用Tomcat,应用服务采用阿里云短信服务,
【Google Play】创建和管理内部测试版本 ( 创建内部测试版本 | 检查并发布内部测试版本 )(一)
【Google Play】创建和管理内部测试版本 ( 创建内部测试版本 | 检查并发布内部测试版本 )(一)
726 0
【Google Play】创建和管理内部测试版本 ( 创建内部测试版本 | 检查并发布内部测试版本 )(一)
|
中间件 Linux PHP
谷歌二次验证 Google Authenticator
谷歌二次验证 Google Authenticator
256 0
|
安全 机器人 数据挖掘
虚拟数字机器人仿真测试验证平台(最大支持12个机器人关节)
虚拟数字机器人仿真测试验证平台(C6657+FPGA架构)
虚拟数字机器人仿真测试验证平台(最大支持12个机器人关节)
【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 内部测试链接 | 安装 Google Play 中带 扩展文件 的 APK 安装包 | 验证下载的扩展文件 )(二)
【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 内部测试链接 | 安装 Google Play 中带 扩展文件 的 APK 安装包 | 验证下载的扩展文件 )(二)
170 0
【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 内部测试链接 | 安装 Google Play 中带 扩展文件 的 APK 安装包 | 验证下载的扩展文件 )(二)
【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 内部测试链接 | 安装 Google Play 中带 扩展文件 的 APK 安装包 | 验证下载的扩展文件 )(一)
【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 内部测试链接 | 安装 Google Play 中带 扩展文件 的 APK 安装包 | 验证下载的扩展文件 )(一)
332 0
【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 内部测试链接 | 安装 Google Play 中带 扩展文件 的 APK 安装包 | 验证下载的扩展文件 )(一)
|
开发者
【Google Play】创建和管理内部测试版本 ( 创建内部测试版本 | 检查并发布内部测试版本 )(二)
【Google Play】创建和管理内部测试版本 ( 创建内部测试版本 | 检查并发布内部测试版本 )(二)
262 0
【Google Play】创建和管理内部测试版本 ( 创建内部测试版本 | 检查并发布内部测试版本 )(二)
|
机器学习/深度学习 安全 机器人
Google X华人博士发布机器人模拟器SimGAN,ICLR2021已发表!
深度学习都能模拟现实了?通过观察机器人的运行轨迹,连摩擦系数都能学出来!Google X的一位斯坦福华人博士最近在ICLR2021上发表了一篇文章,教你动态模拟现实!
158 0
Google X华人博士发布机器人模拟器SimGAN,ICLR2021已发表!

热门文章

最新文章