开发者社区> 问答> 正文

屏蔽了360蜘蛛,具体如下

抓取信息

提交网站
simingte.com
提交网址
http://simingte.com/xnqcdxc.htm
抓取UA
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider
抓取时间
2019-02-18 08:28:22
网站IP
139.129.180.119
下载时长
0.034s

错误信息

Recv failure: Connection reset by peer


抓取失败处理

  1. 请先查看抓取错误信息,判断抓取失败原因,进行优化处理。比如错误提示:Recv failure: Connection reset by peer、 Unknown SSL protocol error in connection to www.example.com:443,这种错误是因为我们抓取检测IP被禁,导致抓取检测失败。请将:220.181.132.235 182.118.31.216,进行加白处理。
  2. 请核实网站的服务商是否有相应的屏蔽策略,为保证网站的收录不出现异常,建议将我们的360搜索蜘蛛全部进行加白处理, 戳我查看360搜索全部蜘蛛ip

公司网站为www.simingte.com
如何将屏蔽的360的蜘蛛ip添白处理?

展开
收起
1330155868457057 2019-02-18 08:38:19 679 0
1 条回答
写回答
取消 提交回答
  • 旺旺:nectar2。
    您好,从这个例子来看,有时不一定是阿里云白名单的问题:https://bbs.360.cn/thread-15684742-1-1.html

    您可以尝试在云盾里添加360的相关IP:https://help.aliyun.com/knowledge_detail/37914.html

    如果觉得本次回答有用,请点击“采纳”,谢谢。
    2019-02-18 08:55:20
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载