对Java的HttpURLConnection的封装类

简介:
用于模拟浏览器访问网页,抓取站点源文件。
  HttpClient(现在是HttpComponents)把问题搞复杂了。其实 Java内置的HttpURLConnection很好的。HttpComponents不但复杂,而且有小问题。Java API没有内置HttpComponents是应该是有考虑的,HttpURLConnection已经可以了。
  * 基于HttpURLConnection
  * version 1.0.0_00,支持POST数据,支持SSL,支持上传文件。
  * GET、POST方式无需设置自动判断。
  * 代码经过优化和修理。
   【API简介】
  该class没有字段。
  该class的方法:
Http(String urlString, String charset);
execute();
setHeader(String name, String value);
setTimeOut(int ms);
addPostData(String name, String value);
addUploadFile(String name, String path, String rename);
getInputStream();
getHeader(String key);
getHeaders();
javadoc文档
   【示例】
  举一个几乎用到所有功能的例子
import http.Http;
import java.util.*;
import java.io.*;
public class NewClass {
public static void main(String[] args) throws Exception {
String charset = "gbk";
Http http1 = new Http("http://xxxxxxx/login.php", charset);
/**
* 登录
*/
http1.addPostData("username", "username中文");
http1.addPostData("password", "password中文");
http1.execute();
/**
* 另一个访问,cookie和session你都不用管了,会自动处理,会处理包括cookie的过期时间等等。这就像浏览器的两个标签页一样。
*/
Http http2 = new Http("http://xxxxxxx/xxxxxx.php", charset);
http2.addPostData("testfield", "testfieldvalue中文1");
http2.addPostData("mycheckbox[]", "testfieldvalue中文2");
http2.addPostData("mycheckbox[]", "testfieldvalue中文3");
http2.addUploadFile("fieldName", "F:\\NetBeansProjects\\Wrapper\\src\\upfile.txt"
, "rename.txt");
http2.execute();
/**
* 打印返回的结果出来
*/
//状况
System.out.println("-------response header-------");
Map<String, List<String>> headersMap = http2.getHeaders();
for (Map.Entry<String, List<String>> entry : headersMap.entrySet()) {
String string = entry.getKey();
List<String> list = entry.getValue();
System.out.println(string + ": " + list.get(0));
}
//内容
//压缩的
if (http2.getHeader("Content-Encoding") != null) {
System.out.println("-------response content 压缩的,格式为" + http2.getHeader("Content-Encoding"));
//使用http2.getInputStream()得到二进制流,做其它处理,解压缩、保存到文件等等。
return;
}
//非压缩的
System.out.println("-------response content-------");
InputStreamReader isr = new InputStreamReader(http2.getInputStream(), charset);
StringBuilder stringBuilder = new StringBuilder();
int len;
char[] cbuf = new char[1024];
while ((len = isr.read(cbuf)) >= 0) {
if (len == 1024) {
stringBuilder.append(cbuf);
} else {
stringBuilder.append(cbuf, 0, len);
}
}
System.out.println(stringBuilder.toString());
}
}
   附注:
  为什么没有直接返回页面文本而是通过getInputStream()方法返回一个输入流呢?
  原因一,有些网站会不定次地发送压缩格式的body,例如百度。本类不予解压缩,因为本类只负责抓取而不负责对文档进行解析,压缩类型(gzip等)不确定,返回的文档也不一定是什么文档。可根据getHeader("Content-Encoding")的值判断压缩情况。
  原因二,java中都是对流进行操作,这是个标准的、默认的接口。


最新内容请见作者的GitHub页:http://qaseven.github.io/

相关文章
|
2月前
|
Java 编译器 API
Java 密封类:精细化控制继承关系
Java 密封类:精细化控制继承关系
265 83
|
3月前
|
IDE Java 数据挖掘
Java 基础类从入门到精通实操指南
这份指南专注于**Java 17+**的新特性和基础类库的现代化用法,涵盖开发环境配置、数据类型增强(如文本块)、字符串与集合处理进阶、异常改进(如密封类)、IO操作及实战案例。通过具体代码示例,如CSV数据分析工具,帮助开发者掌握高效编程技巧。同时提供性能优化建议和常用第三方库推荐,适合从入门到精通的Java学习者。资源链接:[点此下载](https://pan.quark.cn/s/14fcf913bae6)。
176 35
|
4月前
|
存储 安全 Java
【高薪程序员必看】万字长文拆解Java并发编程!(7):不可变类设计指南
🌟 ​大家好,我是摘星!​ 🌟今天为大家带来的是并发编程中Java不可变类设计指南,废话不多说让我们直接开始。
72 0
|
21天前
|
安全 IDE Java
Java记录类型(Record):简化数据载体类
Java记录类型(Record):简化数据载体类
114 0
|
2月前
|
Java API
Java API中Math类功能全景扫描
在实际使用时,这些方法的精确度和性能得到了良好的优化。当处理复杂数学运算或高精度计算时,`Math`类通常是足够的。然而,对于非常精细或特殊的数学运算,可能需要考虑使用 `java.math`包中的 `BigDecimal`类或其他专业的数学库。
84 11
|
2月前
|
Java API
深入解析Java API中Object类的功能
了解和合理运用 Object类的这些方法,对于编写可靠和高效的Java应用程序至关重要。它们构成了Java对象行为的基础,影响着对象的创建、识别、表达和并发控制。
58 0
|
2月前
|
安全 Java
JAVA:Collections类的shuffle()方法
`Collections.shuffle()` 是 Java 中用于随机打乱列表顺序的工具方法,适用于洗牌、抽奖等场景。该方法直接修改原列表,支持自定义随机数生成器以实现可重现的打乱顺序。使用时需注意其原地修改特性及非线程安全性。
91 0
|
2月前
|
存储 Java 编译器
深入理解Java虚拟机--类文件结构
本内容介绍了Java虚拟机与Class文件的关系及其内部结构。Class文件是一种与语言无关的二进制格式,包含JVM指令集、符号表等信息。无论使用何种语言,只要能生成符合规范的Class文件,即可在JVM上运行。文章详细解析了Class文件的组成,包括魔数、版本号、常量池、访问标志、类索引、字段表、方法表和属性表等,并说明其在Java编译与运行过程中的作用。
|
2月前
|
SQL Java 数据库连接
Java 期末考试救急必备涵盖绝大多数核心考点及五大类经典代码助你过关
本文为Java期末考试复习指南,涵盖基础语法、面向对象编程、异常处理、文件操作、数据库连接五大核心考点,提供详细解析与实用代码示例,助力快速掌握重点,高效备考,轻松应对考试。
68 0

热门文章

最新文章