一、目标网页输出的内容:http://www.test.com/test.html <html> <head> <meta http-equiv="Content-Language" content="zh-cn"> <meta http-equiv="Content-Type" content="text/html; charset=gb2312"> <title>中文字库</title><body>中文字,偷偷藏着的Unicode码:蘋</body></html> 二、开始抓取 HttpClient client = new HttpClient(); HttpMethod method = new GetMethod(“http://www.test.com/test.html”); method.addRequestHeader("Content-Type", "text/html; charset=GB2312"); byte[] html = method.getResponseBody(); String body = new String(html,Charset.forName("GB2312")); System.out.println(“======”+body); 三、输出结果 <html> <head> <meta http-equiv="Content-Language" content="zh-cn"> <meta http-equiv="Content-Type" content="text/html; charset=gb2312"> <title>中文字库</title><body>中文字,偷偷藏着的Unicode码:口</body></html> 抓取到的数据中,隐藏中的Unicode码不是变成方框口,就是变成问号?。 解决办法: String body = new String(html,Charset.forName("GB18030")); 解决的根据如下: 中国国标编码:
题外:Eclipse3.4后的默认中文编码是GB18030,之前的的Eclipse版本用的是GBK~~
<meta http-equiv="Content-Type" content="text/html; charset=GB18030"> String body = method.getResponseBodyAsString();######mark,很不错。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。