对Java的HttpURLConnection的封装类

简介:
用于模拟浏览器访问网页,抓取站点源文件。
  HttpClient(现在是HttpComponents)把问题搞复杂了。其实 Java内置的HttpURLConnection很好的。HttpComponents不但复杂,而且有小问题。Java API没有内置HttpComponents是应该是有考虑的,HttpURLConnection已经可以了。
  * 基于HttpURLConnection
  * version 1.0.0_00,支持POST数据,支持SSL,支持上传文件。
  * GET、POST方式无需设置自动判断。
  * 代码经过优化和修理。
   【API简介】
  该class没有字段。
  该class的方法:
Http(String urlString, String charset);
execute();
setHeader(String name, String value);
setTimeOut(int ms);
addPostData(String name, String value);
addUploadFile(String name, String path, String rename);
getInputStream();
getHeader(String key);
getHeaders();
javadoc文档
   【示例】
  举一个几乎用到所有功能的例子
import http.Http;
import java.util.*;
import java.io.*;
public class NewClass {
public static void main(String[] args) throws Exception {
String charset = "gbk";
Http http1 = new Http("http://xxxxxxx/login.php", charset);
/**
* 登录
*/
http1.addPostData("username", "username中文");
http1.addPostData("password", "password中文");
http1.execute();
/**
* 另一个访问,cookie和session你都不用管了,会自动处理,会处理包括cookie的过期时间等等。这就像浏览器的两个标签页一样。
*/
Http http2 = new Http("http://xxxxxxx/xxxxxx.php", charset);
http2.addPostData("testfield", "testfieldvalue中文1");
http2.addPostData("mycheckbox[]", "testfieldvalue中文2");
http2.addPostData("mycheckbox[]", "testfieldvalue中文3");
http2.addUploadFile("fieldName", "F:\\NetBeansProjects\\Wrapper\\src\\upfile.txt"
, "rename.txt");
http2.execute();
/**
* 打印返回的结果出来
*/
//状况
System.out.println("-------response header-------");
Map<String, List<String>> headersMap = http2.getHeaders();
for (Map.Entry<String, List<String>> entry : headersMap.entrySet()) {
String string = entry.getKey();
List<String> list = entry.getValue();
System.out.println(string + ": " + list.get(0));
}
//内容
//压缩的
if (http2.getHeader("Content-Encoding") != null) {
System.out.println("-------response content 压缩的,格式为" + http2.getHeader("Content-Encoding"));
//使用http2.getInputStream()得到二进制流,做其它处理,解压缩、保存到文件等等。
return;
}
//非压缩的
System.out.println("-------response content-------");
InputStreamReader isr = new InputStreamReader(http2.getInputStream(), charset);
StringBuilder stringBuilder = new StringBuilder();
int len;
char[] cbuf = new char[1024];
while ((len = isr.read(cbuf)) >= 0) {
if (len == 1024) {
stringBuilder.append(cbuf);
} else {
stringBuilder.append(cbuf, 0, len);
}
}
System.out.println(stringBuilder.toString());
}
}
   附注:
  为什么没有直接返回页面文本而是通过getInputStream()方法返回一个输入流呢?
  原因一,有些网站会不定次地发送压缩格式的body,例如百度。本类不予解压缩,因为本类只负责抓取而不负责对文档进行解析,压缩类型(gzip等)不确定,返回的文档也不一定是什么文档。可根据getHeader("Content-Encoding")的值判断压缩情况。
  原因二,java中都是对流进行操作,这是个标准的、默认的接口。


最新内容请见作者的GitHub页:http://qaseven.github.io/

相关文章
|
4天前
|
Java
Java 封装
5月更文挑战第5天
|
18小时前
|
Java ice
【Java开发指南 | 第二十八篇】Java封装
【Java开发指南 | 第二十八篇】Java封装
5 0
|
19小时前
|
存储 Java ice
【Java开发指南 | 第十六篇】Java数组及Arrays类
【Java开发指南 | 第十六篇】Java数组及Arrays类
8 3
|
19小时前
|
Java 编译器 ice
【Java开发指南 | 第十五篇】Java Character 类、String 类
【Java开发指南 | 第十五篇】Java Character 类、String 类
8 1
|
20小时前
|
Java 编译器
【Java开发指南 | 第一篇】类、对象基础概念及Java特征
【Java开发指南 | 第一篇】类、对象基础概念及Java特征
9 4
|
1天前
|
安全 Java 数据安全/隐私保护
Java一分钟之-Java反射机制:动态操作类与对象
【5月更文挑战第12天】本文介绍了Java反射机制的基本用法,包括获取Class对象、创建对象、访问字段和调用方法。同时,讨论了常见的问题和易错点,如忽略访问权限检查、未捕获异常以及性能损耗,并提供了相应的避免策略。理解反射的工作原理和合理使用有助于提升代码灵活性,但需注意其带来的安全风险和性能影响。
16 4
|
2天前
|
安全 Java 调度
Java一分钟:多线程编程初步:Thread类与Runnable接口
【5月更文挑战第11天】本文介绍了Java中创建线程的两种方式:继承Thread类和实现Runnable接口,并讨论了多线程编程中的常见问题,如资源浪费、线程安全、死锁和优先级问题,提出了解决策略。示例展示了线程通信的生产者-消费者模型,强调理解和掌握线程操作对编写高效并发程序的重要性。
42 3
|
3天前
|
Java
【JAVA基础篇教学】第五篇:Java面向对象编程:类、对象、继承、多态
【JAVA基础篇教学】第五篇:Java面向对象编程:类、对象、继承、多态
|
4天前
|
存储 安全 Java
Java容器类List、ArrayList、Vector及map、HashTable、HashMap
Java容器类List、ArrayList、Vector及map、HashTable、HashMap
|
4天前
|
Java 编译器 开发者
Java一分钟之-继承:复用与扩展类的特性
【5月更文挑战第9天】本文探讨了Java中的继承机制,通过实例展示了如何使用`extends`创建子类继承父类的属性和方法。文章列举了常见问题和易错点,如构造器调用、方法覆盖、访问权限和类型转换,并提供了解决方案。建议深入理解继承原理,谨慎设计类结构,利用抽象类和接口以提高代码复用和扩展性。正确应用继承能构建更清晰、灵活的代码结构,提升面向对象设计能力。
9 0