开发者社区> 问答> 正文
3
0
分享

google 蜘蛛一天抓取50多万次正常吗

上次一天抓10万多次,逼得我把 url 改成js跳转.
这次抓取的更凶狠,
超过50多万次!!!
一秒钟抓取好几次,
我在 robots.txt 里面设置了
Crawl-delay: 5
设置禁止抓取动态页
都不管用.

ip 系列 203.208.60.*
查询是:
•本站主数据:北京市海淀区 北京谷翔信息技术有限公司 电信
•参考数据二:北京市 飞翔人信息技术有限公司

google 美国的ip抓取很少.

有没有遇到和我一样?


这是我原来的robots.txt设置,帮我看看是不是禁止抓取动态页?
User-agent: Baiduspider
Disallow:  
User-agent: Googlebot
Disallow:  
User-agent: *
Disallow: /
Crawl-delay: 5
Disallow: /*?*

上一个日志统计图:





展开
收起
alixi 2016-06-09 11:54:00 8705 0
举报
飞天免费试用计划
领取免费云资源,开启云上实践第一步
日志服务 SLS
月写入数据量 50GB 1个月
额度1个月内有效
3 条回答
写回答
取消 提交回答
  • image.png 我的也是 ,怎么解决,不听的抓取,网站流量蹭蹭的涨 网址:m.wcaqq.com

    2022-01-19 12:31:46 举报
    赞同 评论 打赏

    评论

    全部评论 (0)

    登录后可评论
  • 被采集了,想办法防采集吧
    google才没有这么勤快
    他是伪装成google蜘蛛来采集了

    -------------------------


    你看看google蜘蛛的频率,差不多30秒到1分钟一次,没你那么夸张
    google不可能一秒钟很多次去爬站的
    这点google还是懂的

    2016-06-14 14:45:51 举报
    赞同 1 打赏

    评论

    全部评论 (1)

    登录后可评论
    头像
    ip 显示的是google的,但这个ip是不是真实的?阿里云能不能伪造这个ip?
    2023-07-20 20:27:54发布于 上海
    回复 赞同举报
  • 是禁止搜索引擎抓取
    2016-06-09 12:51:13 举报
    赞同 评论 打赏

    评论

    全部评论 (0)

    登录后可评论
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等