开发者社区> 问答> 正文

这是阿里云的服务器么?为何模仿百度蜘蛛抓取我的页面!!!





日志如上!除了伪造为百度蜘蛛,还伪造为iPad 客户端进行爬取~,如下图







抓取没问题,但是伪装为百度蜘蛛,对我的日志分析造成了极大困扰,我根本没办法去细分对日志进行详细分析!


不知道这服务器群是阿里云自己的还是阿里云客户的,如果是客户的,建议阿里云对客户进行处理,如果是阿里云自己的,那我只能鄙视之了~~~

展开
收起
jayking 2013-08-04 12:44:12 10432 0
8 条回答
写回答
取消 提交回答
  • Re这是阿里云的服务器么?为何模仿百度蜘蛛抓取我的页面!!!
    原来如此。。又学习了                                                                                                                                       创维官方旗舰店        
    2013-08-04 20:25:53
    赞同 展开评论 打赏
  • 恩,虚惊一场。
    2013-08-04 19:28:03
    赞同 展开评论 打赏
  • 解决了就好
    2013-08-04 13:41:25
    赞同 展开评论 打赏
  • 让楼主虚惊了。
    我到时遇到阿里云IP的攻击。 http://bbs.aliyun.com/read.php?tid=142544
    2013-08-04 13:02:27
    赞同 展开评论 打赏
  • 7层转发实现不了CLIENT_IP的伪造,只能替代成x_forwarded_for。四层转发才可以
    2013-08-04 13:01:35
    赞同 展开评论 打赏
  • Re这是阿里云的服务器么?为何模仿百度蜘蛛抓取我的页面!!!
    42.121.43.* 一个网段对我网站疯狂进行抓取,模仿为百度蜘蛛、搜狗蜘蛛、MSN蜘蛛、iPad客户端等~~~请阿里云解决处理!
    2013-08-04 12:50:15
    赞同 展开评论 打赏
  • 这个日志,怎么看上去怪怪的呢。一般蜘蛛不会爬jpg之类。
    你把这个ip用iptables干掉,再看看日志。
    2013-08-04 12:50:10
    赞同 展开评论 打赏
  • 阿里的大数据从哪来?阿里云就是其中一个渠道。
    2013-08-04 12:48:22
    赞同 展开评论 打赏
滑动查看更多
问答排行榜
最热
最新

相关电子书

更多
AIOps-百度的思考与实践 立即下载
百度外卖从IDC到云端服务迁移历程 立即下载
百度研发工具集的应用实践——打造持续交付路上的“三堵墙” 立即下载