开发者社区 问答 正文

如何禁用掉Web Core / Roots的机器人抓取

网站发现 Web Core / Roots机器人,这个机器人占用太多流量,最关键每次因为这个都把站点服务器弄崩溃,本站点是个人博客,想问下如何屏蔽这个Web Core / Roots的机器人抓取 image.png


本人也参看阿里云给予的文档帮助(云虚拟主机被爬虫访问耗费大量流量的解决方法),使用User-Agent,Robots.txt禁用,1是文档并没有给到Web Core / Roots的User-Agent,想问下大神 如何处理,感谢感谢


禁用掉Web Core / Roots的机器人抓取

如下是Robots.txt禁用原文

User-agent: Web Core / Roots
Disallow: /
User-agent: Web Core/Roots
Disallow: /
User-agent: *
Disallow: 
Disallow: /bin/

展开
收起
冰镇宝贝321 2021-04-07 09:59:00 1310 分享 版权
1 条回答
写回答
取消 提交回答
  • 下一站是幸福

    本次直接在Asp.Net Core WebApi下完成机器人的调用,新建一个DingTalk的控制器,然后完成对IHttpClientFactory的注入工作,便开始接下来的服务调用了,

    2021-04-09 15:39:23
    赞同 展开评论