开发者社区> 问答> 正文

YisouSpider如何禁止!

YisouSpider完全不遵守协议!禁止收录的目录依然收录!

展开
收起
simwon007 2016-07-30 19:35:58 5381 0
3 条回答
写回答
取消 提交回答
  • 护卫神主要提供服务器软件研发、服务器安全防护、服务器技术服务、服务器技术教学等四大业务。 护卫神阿里云市场店铺地址:https://market.aliyun.com/store/188591.html?spm=0.0.0.0.4he7MW
    使用护卫神网站访问控制系统,可实现对常见蜘蛛的限制访问
    https://market.aliyun.com/products/56824017/cmxz006620.html
    2016-07-31 14:15:30
    赞同 展开评论 打赏
  • 解决方案工程师,负责为企业规划上云迁移方案和云上架构设计,在网站建设开发和云计算领域有多年经验,专注于Linux平台的系统维护以及应用部署。致力于以场景化的方式让云计算,用更加通俗易懂的方式让更多人体验云计算,让云端的计算更质朴的落地。
    nginx 还是 apache? 这种蜘蛛是不能通过 robots 解决的
    2016-07-30 22:33:29
    赞同 展开评论 打赏
  • 论坛总版主
    1、编辑robots.txt文件,设计标记为:

    User-agent: YisouSpider
    Disallow: /

    以上robots文件将实现禁止所有来自YisouSpider的抓取。

    -------------------------

    如果还不行
    可以在网页加入
    在网站首页代码<head>与</head>之间,加入
    <meta name="YisouSpider " content="noarchive">即可禁止YisouSpider 搜索引擎抓取网站并显示网页快照。

    2016-07-30 19:58:53
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载