关于抓取带有参数的url源码的问题?报错-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

关于抓取带有参数的url源码的问题?报错

爱吃鱼的程序员 2020-06-12 10:30:31 87

现在在用spring mvc做一个小项目,需要抓取url对应网址的源码,我用的是httpUrlConnection,在url不带参数的情况下抓取没有问题,但是在有参数的地址就会报错,错误如下:

java.io.IOException: Server returned HTTP response code: 500 for URL

百度看到有人说是“因为服务器的安全设置不接受Java程序作为客户端访问,解决方案是设置客户端的User Agent”于是我就在代码中加了这么一句

connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");

但是仍然是同样的结果,有人遇到过类似的问题么,可否指点一下小弟,不胜感激

安全 前端开发 Java Windows Spring
分享到
取消 提交回答
全部回答(1)
  • 爱吃鱼的程序员
    2020-06-12 15:10:19

    地址都不给出来,谁知道什么情况服务器还能知道是JAVA客户端访问?能好好问问题嘛

    500服务器错,可能是你加的参数有问题,服务器报错了,看看返回的body是什么内容。检查下你的URL后参数有没有问题,可以拿浏览器或者curl先验证下你这个URL访问是否正常。

    把你请求的参数拼接出来,人工访问下,,看看什么500内部服务器错误,你访问的网址可能有问题、或者参数有问题、或者对方服务器挂了?<divclass='ref'>

    引用来自“狐狸糊涂”的评论

    500服务器错,可能是你加的参数有问题,服务器报错了,看看返回的body是什么内容。检查下你的URL后参数有没有问题,可以拿浏览器或者curl先验证下你这个URL访问是否正常。

    说了半天,你还是没有把具体出错的信息发出来,没有这个,怎么诊断是什么问题呢?<divclass='ref'>

    引用来自“腾讯公告”的评论

    地址都不给出来,谁知道什么情况<divclass='ref'>

    引用来自“浓情的屌丝”的评论

    能好好问问题嘛<divclass='ref'>

    引用来自“徐清凯”的评论

    把你请求的参数拼接出来,人工访问下,,看看什么

    0 0
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题
推荐课程