开发者社区> 问答> 正文

爬虫爬https出错 400 请求报错 

@黄亿华 你好,想跟你请教个问题: 为什么我把最新的代码WebMagic 0.6.1 更新到我本地了 ,在运行爬虫的时候,对于有些HTTPS的网页还是报错呢(比如爬https://www.digikey.com/),求解。 报错信息是: I/O exception (java.net.SocketException) caught when processing request to {s}->https://www.digikey.com:443: Connection reset ,但是在爬京东时候,https://www.jd.com程序又没有报错,爬取正常

展开
收起
kun坤 2020-05-31 13:01:13 1478 0
1 条回答
写回答
取消 提交回答
  • Connection reset是连接被重置,你先自己用浏览器调用了看看呢?######

    引用来自“黄亿华”的评论

    Connection reset是连接被重置,你先自己用浏览器调用了看看呢?

    @黄亿华  黄老师我试过了自己用浏览器调用网站是没有问题的,比如https://www.digikey.com/product-detail/en/tdk-corporation/PS1240P02BT/445-2525-3-ND/935924 和http://www.digikey.com/product-detail/en/tdk-corporation/PS1240P02BT/445-2525-3-ND/935924,但是在爬虫的时候https这个的就会报Connection reset错

    2020-05-31 17:24:37
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
阿里巴巴HTTP 2.0实践及无线通信协议的演进之路 立即下载
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
CDN助力企业网站进入HTTPS时代 立即下载