验证 Googlebot (检查是否为真的Google机器人)

简介: 您可以验证访问您服务器的网页抓取工具是否确实是 Googlebot(还是其他 Google 用户代理)。如果您担心自称是 Googlebot 的垃圾内容发布者或其他麻烦制造者访问您的网站,则会发现该方法非常有用。

您可以验证访问您服务器的网页抓取工具是否确实是 Googlebot(还是其他 Google 用户代理)。如果您担心自称是 Googlebot 的垃圾内容发布者或其他麻烦制造者访问您的网站,则会发现该方法非常有用。Google 不会发布一个公开的 IP 地址列表供网站站长添加到白名单。这是因为这些 IP 地址范围可能会发生变化,从而给已对其进行硬编码的网站站长带来麻烦。因此,您必须按照下述方法运行 DNS 查找。

要验证 Googlebot 是否为调用方,请执行以下操作:

  1. 使用 host 命令对您日志中访问服务器的 IP 地址运行反向 DNS 查找。
  2. 验证该域名是否位于 googlebot.com 或 google.com 中。
  3. 对在第 1 步中使用 host 命令检索到的域名运行正向 DNS 查找。验证该域名与您日志中访问服务器的原始 IP 地址是否一致。

示例 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

 

示例 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

 

https://support.google.com/webmasters/answer/80553

目录
相关文章
|
3月前
|
机器人 API
钉钉里{"code: 400, 错误描述:机器人权限校验不通过;解决方案:请登陆开放平台后台,检查机器人是否归属于token对应的主应用名下 请问场景机器人-发消息-这个报错什么原因导致的啊?
钉钉里{"code: 400, 错误描述:机器人权限校验不通过;解决方案:请登陆开放平台后台,检查机器人是否归属于token对应的主应用名下 请问场景机器人-发消息-这个报错什么原因导致的啊?
125 0
|
10月前
|
中间件 Linux PHP
谷歌二次验证 Google Authenticator
谷歌二次验证 Google Authenticator
136 0
【Google Play】创建和管理内部测试版本 ( 创建内部测试版本 | 检查并发布内部测试版本 )(一)
【Google Play】创建和管理内部测试版本 ( 创建内部测试版本 | 检查并发布内部测试版本 )(一)
501 0
【Google Play】创建和管理内部测试版本 ( 创建内部测试版本 | 检查并发布内部测试版本 )(一)
【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 内部测试链接 | 安装 Google Play 中带 扩展文件 的 APK 安装包 | 验证下载的扩展文件 )(二)
【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 内部测试链接 | 安装 Google Play 中带 扩展文件 的 APK 安装包 | 验证下载的扩展文件 )(二)
137 0
【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 内部测试链接 | 安装 Google Play 中带 扩展文件 的 APK 安装包 | 验证下载的扩展文件 )(二)
【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 内部测试链接 | 安装 Google Play 中带 扩展文件 的 APK 安装包 | 验证下载的扩展文件 )(一)
【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 内部测试链接 | 安装 Google Play 中带 扩展文件 的 APK 安装包 | 验证下载的扩展文件 )(一)
263 0
【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 内部测试链接 | 安装 Google Play 中带 扩展文件 的 APK 安装包 | 验证下载的扩展文件 )(一)
|
开发者
【Google Play】创建和管理内部测试版本 ( 创建内部测试版本 | 检查并发布内部测试版本 )(二)
【Google Play】创建和管理内部测试版本 ( 创建内部测试版本 | 检查并发布内部测试版本 )(二)
200 0
【Google Play】创建和管理内部测试版本 ( 创建内部测试版本 | 检查并发布内部测试版本 )(二)
|
机器学习/深度学习 安全 机器人
Google X华人博士发布机器人模拟器SimGAN,ICLR2021已发表!
深度学习都能模拟现实了?通过观察机器人的运行轨迹,连摩擦系数都能学出来!Google X的一位斯坦福华人博士最近在ICLR2021上发表了一篇文章,教你动态模拟现实!
124 0
Google X华人博士发布机器人模拟器SimGAN,ICLR2021已发表!
|
机器学习/深度学习 自然语言处理 算法
Google X教你用模拟器训练机器人,准确率超93%,ICRA2021已发表
机器人的训练相比自然语言处理、视觉等领域来说更加困难,因为需要实际搭建一个环境,更多的时间来试错。而使用模拟器来模拟机器人,训练出来的模型想要直接应用到真实环境之间还需要消除他们之间的gap。
159 0
Google X教你用模拟器训练机器人,准确率超93%,ICRA2021已发表
|
算法 安全 Java
两步验证杀手锏:Java 接入 Google 身份验证器实战
两步验证 大家应该对两步验证都熟悉吧?如苹果有自带的两步验证策略,防止用户账号密码被盗而锁定手机进行敲诈,这种例子屡见不鲜,所以苹果都建议大家开启两步验证的。
1370 0
|
Web App开发
SAP UIVeri5 跳过检查 Google Chrome driver 版本检查的方法
由于众所周知的原因,国内访问 Google 某些网站时会遇到一些问题。而使用 SAP UIVeri5 时,在启动阶段,会自动连接 Google 网站检测 Google Chrome driver 的最新版本,因而会遇到如下错误:

热门文章

最新文章