以下是360搜索Spider抓取结果及页面信息
抓取信息
提交网址
http://simingte.com/xnqcdxc.htm
抓取UA
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider
错误信息
Recv failure: Connection reset by peer
抓取失败处理
-
请先查看抓取错误信息,判断抓取失败原因,进行优化处理。比如错误提示:Recv failure: Connection reset by peer、 Unknown SSL protocol error in connection to www.example.com:443,这种错误是因为我们抓取检测IP被禁,导致抓取检测失败。请将:220.181.132.235 182.118.31.216,进行加白处理。
-
以下为360搜索的蜘蛛IP段:
180.153.232.*
180.153.234.*
180.153.236.*
180.163.220.*
42.236.101.*
42.236.102.*
42.236.103.*
42.236.10.*
42.236.12.*
42.236.13.*
42.236.14.*
42.236.15.*
42.236.16.*
42.236.17.*
42.236.46.*
42.236.48.*
42.236.49.*
42.236.50.*
42.236.51.*
42.236.52.*
42.236.53.*
42.236.54.*
42.236.55.*
42.236.99.*
麻烦帮设置下360的搜索引擎的白名单。
两个主机账号
qxw1885390126
qxu1781030360
评论
全部评论 (0)