netty系列之:搭建HTTP上传文件服务器

简介: netty系列之:搭建HTTP上传文件服务器

目录



简介


上一篇的文章中,我们讲到了如何从HTTP服务器中下载文件,和搭建下载文件服务器应该注意的问题,使用的GET方法。本文将会讨论一下常用的向服务器提交数据的POST方法和如何向服务器上传文件。


GET方法上传数据


按照HTTP的规范,PUT一般是向服务器上传数据,虽然不提倡,但是也可以使用GET向服务器端上传数据。


先看下GET客户端的构建中需要注意的问题。


GET请求实际上就是一个URI,URI后面带有请求的参数,netty提供了一个QueryStringEncoder专门用来构建参数内容:


// HTTP请求
        QueryStringEncoder encoder = new QueryStringEncoder(get);
        // 添加请求参数
        encoder.addParam("method", "GET");
        encoder.addParam("name", "flydean");
        encoder.addParam("site", "www.flydean.com");
        URI uriGet = new URI(encoder.toString());


有了请求URI,就可以创建HttpRequest了,当然这个HttpRequest中还需要有对应的HTTP head数据:


HttpRequest request = new DefaultHttpRequest(HttpVersion.HTTP_1_1, HttpMethod.GET, uriGet.toASCIIString());
        HttpHeaders headers = request.headers();
        headers.set(HttpHeaderNames.HOST, host);
        headers.set(HttpHeaderNames.CONNECTION, HttpHeaderValues.CLOSE);
        headers.set(HttpHeaderNames.ACCEPT_ENCODING, HttpHeaderValues.GZIP + "," + HttpHeaderValues.DEFLATE);
        headers.set(HttpHeaderNames.ACCEPT_LANGUAGE, "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.set(HttpHeaderNames.REFERER, uriSimple.toString());
        headers.set(HttpHeaderNames.USER_AGENT, "Netty Simple Http Client side");
        headers.set(HttpHeaderNames.ACCEPT, "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
        headers.set(
                HttpHeaderNames.COOKIE, ClientCookieEncoder.STRICT.encode(
                        new DefaultCookie("name", "flydean"),
                        new DefaultCookie("site", "www.flydean.com"))
        );


我们知道HttpRequest中只有两部分数据,分别是HttpVersion和HttpHeaders。

HttpVersion就是HTTP协议的版本号,HttpHeaders就是设置的header内容。


对于GET请求来说,因为所有的内容都包含在URI中,所以不需要额外的HTTPContent,直接发送HttpRequest到服务器就可以了。


channel.writeAndFlush(request);


然后看下服务器端接收GET请求之后怎么进行处理。


服务器端收到HttpObject对象的msg之后,需要将其转换成HttpRequest对象,就可以通过protocolVersion(),uri()和headers()拿到相应的信息。


对于URI中的参数,netty提供了QueryStringDecoder类可以方便的对URI中参数进行解析:


//解析URL中的参数
            QueryStringDecoder decoderQuery = new QueryStringDecoder(request.uri());
            Map<String, List<String>> uriAttributes = decoderQuery.parameters();
            for (Entry<String, List<String>> attr: uriAttributes.entrySet()) {
                for (String attrVal: attr.getValue()) {
                    responseContent.append("URI: ").append(attr.getKey()).append('=').append(attrVal).append("\r\n");
                }
            }


POST方法上传数据


对于POST请求,它比GET请求多了一个HTTPContent,也就是说除了基本的HttpRequest数据之外,还需要一个PostBody。


如果只是一个普通的POST,也就是POST内容都是key=value的形式,则比较简单,如果POST中包含有文件,那么会比较复杂,需要用到ENCTYPE="multipart/form-data"。


netty提供了一个HttpPostRequestEncoder类,用于快速对request body进行编码,先看下HttpPostRequestEncoder类的完整构造函数:


public HttpPostRequestEncoder(
            HttpDataFactory factory, HttpRequest request, boolean multipart, Charset charset,
            EncoderMode encoderMode)


其中request就是要编码的HttpRequest,multipart表示是否是"multipart/form-data"的格式,charset编码方式,默认情况下是CharsetUtil.UTF_8。encoderMode是编码的模式,目前有三种编码模式,分别是RFC1738,RFC3986和HTML5。


默认情况下的编码模式是RFC1738,这也是大多数form提交数据的编码方式。但是它并不适用于OAUTH,如果要使用OAUTH的话,则可以使用RFC3986。HTML5禁用了multipart/form-data的混合模式。


最后,我们讲讲HttpDataFactory。factory主要用来创建InterfaceHttpData。它有一个minSize参数,如果创建的HttpData大小大于minSize则会存放在磁盘中,否则直接在内存中创建。


InterfaceHttpData有三种HttpData的类型,分别是Attribute, FileUpload和InternalAttribute。


Attribute就是POST请求中传入的属性值。FileUpload就是POST请求中传入的文件,还有InternalAttribute是在encoder内部使用的,这里不过多讨论。


因此,根据传入的minSize参数大小,Attribute和FileUpload可以被分成下面几种:

MemoryAttribute, DiskAttribute or MixedAttribute

MemoryFileUpload, DiskFileUpload or MixedFileUpload


在这一节我们先看一下在POST请求中并不上传文件的处理方式,首先创建HTTP request和PostBody encoder:


// 构建HTTP request
        HttpRequest request = new DefaultHttpRequest(HttpVersion.HTTP_1_1, HttpMethod.POST, uriSimple.toASCIIString());
 HttpPostRequestEncoder bodyRequestEncoder =
                new HttpPostRequestEncoder(factory, request, false);


向request中添加headers:


// 添加headers
        for (Entry<String, String> entry : headers) {
            request.headers().set(entry.getKey(), entry.getValue());
        }


然后再向bodyRequestEncoder中添加form属性:


// 添加form属性
        bodyRequestEncoder.addBodyAttribute("method", "POST");
        bodyRequestEncoder.addBodyAttribute("name", "flydean");
        bodyRequestEncoder.addBodyAttribute("site", "www.flydean.com");
        bodyRequestEncoder.addBodyFileUpload("myfile", file, "application/x-zip-compressed", false);


注意,上面我们向bodyRequestEncoder中添加了method,name和site这几个属性。然后添加了一个FileUpload。但是因为我们的编码方式并不是"multipart/form-data",所以这里传递的只是文件名,并不是整个文件。


最后,我们要调用bodyRequestEncoder的finalizeRequest方法,返回最终要发送的request。在finalizeRequest的过程中,还会根据传输数据的大小来设置transfer-encoding是否为chunked。


如果传输的内容比较大,则需要分段进行传输,这时候需要设置transfer-encoding = chunked,否则不进行设置。


最后发送请求:


// 发送请求
        channel.write(request);


在server端,我们同样需要构造一个HttpDataFactory,然后使用这个factory来构造一个HttpPostRequestDecoder,来对encoder出来的数据进行decode:


HttpDataFactory factory =
            new DefaultHttpDataFactory(DefaultHttpDataFactory.MINSIZE);
//POST请求
decoder = new HttpPostRequestDecoder(factory, request);


因为server端收到的消息根据发送消息的长度可以能是HttpContent,也可能是LastHttpContent。如果是HttpContent,我们将解析的结果放到一个StringBuilder中缓存起来,等接收到LastHttpContent再一起发送出去即可。


在收到HttpContent之后,我们调用decoder.offer方法,对HttpContent进行解码:


decoder.offer(chunk);


在decoder内部有两个存储HttpData数据的容器,分别是:


List<InterfaceHttpData> bodyListHttpData
Map<String, List<InterfaceHttpData>> bodyMapHttpData


decoder.offer就是对chunk进行解析,然后将解析过后的数据填充到bodyListHttpData和bodyMapHttpData中。


解析过后,就可以对解析过后的数据进行读取了。


可以通过decoder的hasNext和next方法对bodyListHttpData进行遍历,从而获取到对应的InterfaceHttpData。


通过data.getHttpDataType()可以拿到InterfaceHttpData的数据类型,上面也讲过了有Attribute和FileUpload两种类型。


POST方法上传文件


如果要POST文件,客户端在创建HttpPostRequestEncoder的时候传入multipart=true即可:


HttpPostRequestEncoder bodyRequestEncoder =
                new HttpPostRequestEncoder(factory, request, true);


然后分别调用setBodyHttpDatas和finalizeRequest方法,生成HttpRequest就可以向channel写入了:


// 添加body http data
        bodyRequestEncoder.setBodyHttpDatas(bodylist);
        // finalize request,判断是否需要chunk
        request = bodyRequestEncoder.finalizeRequest();
        // 发送请求头
        channel.write(request);


要注意,如果是transfer-encoding = chunked,那么这个HttpRequest只是请求头的信息,我们还需要手动将HttpContent写入到channel中:

// 判断bodyRequestEncoder是否是Chunked,发送请求内容
        if (bodyRequestEncoder.isChunked()) {
            channel.write(bodyRequestEncoder);
        }


在server端,通过判断InterfaceHttpData的getHttpDataType,如果是FileUpload类型,则说明拿到了上传的文件,则可以通过下面的方法来读取到文件的内容:


FileUpload fileUpload = (FileUpload) data;
responseContent.append(fileUpload.getString(fileUpload.getCharset()));


这样我们就可以在服务器端拿到客户端传过来的文件了。


总结



HTTP的文件上传需要考虑的问题比较多,大家有不明白的可以参考我的例子。或者留言给我一起讨论。

相关文章
|
10天前
Servlet 教程 之 Servlet 服务器 HTTP 响应 2
Servlet教程讲解了如何通过HttpServletResponse设置HTTP响应,包括编码URL、添加cookie、设置报头、控制缓冲区、发送错误或重定向响应。方法如encodeURL、addCookie、sendError、sendRedirect等,涉及状态码、报头、字符编码和内容长度的管理。
18 2
|
2月前
Netty实战: HTTP文件列表服务器
Netty实战: HTTP文件列表服务器
21 0
|
28天前
|
应用服务中间件 nginx Python
基于 Python 实现一个简单的 HTTP 服务器
基于 Python 实现一个简单的 HTTP 服务器
34 0
基于 Python 实现一个简单的 HTTP 服务器
|
10天前
|
XML Java 数据格式
Servlet 教程 之 Servlet 服务器 HTTP 响应 3
`Servlet`教程示例展示了如何创建一个HTTP响应,使用`@WebServlet(&quot;/Refresh&quot;)`的`Refresh`类继承`HttpServlet`。在`doGet`方法中,设置了`Refresh`头以每5秒自动刷新,并用`setContentType(&quot;text/html;charset=UTF-8&quot;)`设定内容类型。还使用`Calendar`和`SimpleDateFormat`获取并格式化当前时间显示。相应的`web.xml`配置指定了Servlet路径。当访问此Servlet时,页面将每5秒更新一次显示的系统时间。
17 4
|
1天前
|
中间件 Go
【Go语言专栏】使用Go语言编写HTTP服务器
【4月更文挑战第30天】本文介绍了如何使用Go语言创建基本的HTTP服务器,包括设置路由、处理请求和响应。首先确保安装了Go环境,然后引入`net/http`包,定义路由和处理器函数。处理器函数接收`http.ResponseWriter`和`*http.Request`参数,用于发送响应和处理请求。使用`http.ListenAndServe`启动服务器,并可通过中间件增强功能。文章还提及了处理复杂请求、查询参数和POST数据的方法,以及使用第三方库如Gin和Echo扩展功能。通过本文,读者可掌握Go语言编写HTTP服务器的基础知识。
|
2天前
|
弹性计算 监控 Shell
监控HTTP 服务器的状态
【4月更文挑战第29天】
8 0
|
3天前
|
弹性计算 运维 监控
|
3天前
|
中间件 Go API
Golang深入浅出之-Go语言标准库net/http:构建Web服务器
【4月更文挑战第25天】Go语言的`net/http`包是构建高性能Web服务器的核心,提供创建服务器和发起请求的功能。本文讨论了使用中的常见问题和解决方案,包括:使用第三方路由库改进路由设计、引入中间件处理通用逻辑、设置合适的超时和连接管理以防止资源泄露。通过基础服务器和中间件的代码示例,展示了如何有效运用`net/http`包。掌握这些最佳实践,有助于开发出高效、易维护的Web服务。
16 1
|
11天前
|
存储 缓存
Servlet 教程 之 Servlet 服务器 HTTP 响应 1
Servlet服务器的HTTP响应包括状态行(如HTTP/1.1 200 OK)、响应头部(如Content-Type, Cache-Control)和HTML文档。关键头部有:Allow指示支持的请求方法;Cache-Control定义缓存策略;Content-Type指定MIME类型;Expires和Last-Modified管理缓存;Location用于重定向;Set-Cookie用于设置cookie。
23 8
|
12天前
|
开发工具 git
git怎么设置http代理服务器
git怎么设置http代理服务器
24 12