112.17.14.110冒充百度爬虫访问网站是什么意思?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

112.17.14.110冒充百度爬虫访问网站是什么意思?

牙刷苏 2019-06-11 23:22:06 1074

iis日志如下:

2019-06-10 20:58:35 W6SVC5506 我的ip GET /gongyi/20171127/124.html - 80 - 139.196.174.156 compatible;+Baiduspider/3.0;++http //www baidu com/search/spider.html - 404 0 3

请问这是阿里云官方的行为吗?是出于什么目的冒充百度爬虫?

数据采集
分享到
取消 提交回答
全部回答(1)
  • fralychen
    2019-07-17 23:37:01

    日志记录了一条对应时间节点上的get请求,请求头为Baiduspider/3.0。有的爬虫为了抓取页面数据将会伪装自己的请求头,有关http请求头的详情你可参考下下列文档

    HTTP响应头信息和请求头信息详解link

    0 1
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题