关于抓取带有参数的url源码的问题?报错
现在在用spring mvc做一个小项目，需要抓取url对应网址的源码，我用的是httpUrlConnection，在url不带参数的情况下抓取没有问题，但是在有参数的地址就会报错，错误如下：
java.io.IOException: Server returned HTTP response code: 500 for URL
百度看到有人说是“因为服务器的安全设置不接受Java程序作为客户端访问，解决方案是设置客户端的User Agent”于是我就在代码中加了这么一句
connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
但是仍然是同样的结果，有人遇到过类似的问题么，可否指点一下小弟，不胜感激
写回答
-
https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB地址都不给出来，谁知道什么情况服务器还能知道是JAVA客户端访问？能好好问问题嘛
500服务器错，可能是你加的参数有问题，服务器报错了，看看返回的body是什么内容。检查下你的URL后参数有没有问题，可以拿浏览器或者curl先验证下你这个URL访问是否正常。
把你请求的参数拼接出来，人工访问下，，看看什么500内部服务器错误，你访问的网址可能有问题、或者参数有问题、或者对方服务器挂了？<divclass='ref'>引用来自“狐狸糊涂”的评论
500服务器错，可能是你加的参数有问题，服务器报错了，看看返回的body是什么内容。检查下你的URL后参数有没有问题，可以拿浏览器或者curl先验证下你这个URL访问是否正常。
说了半天，你还是没有把具体出错的信息发出来，没有这个，怎么诊断是什么问题呢？<divclass='ref'>引用来自“腾讯公告”的评论
地址都不给出来，谁知道什么情况<divclass='ref'>引用来自“浓情的屌丝”的评论
能好好问问题嘛<divclass='ref'>引用来自“徐清凯”的评论
把你请求的参数拼接出来，人工访问下，，看看什么2020-06-12 15:10:19赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
