开发者社区 问答 正文

robots协议是什么?

robots协议是什么?

展开
收起
珍宝珠 2019-11-11 11:54:45 2728 分享 版权
1 条回答
写回答
取消 提交回答
  • Robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

    Robots协议是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令,故需要搜索引擎自觉遵守。

    2019-11-11 13:35:06
    赞同 展开评论
问答地址: