golang的net/http
库是我们平时写代码中,非常常用的标准库。由于go语言拥有goroutine,goroutine的上下文切换成本比普通线程低很多,net/http库充分利用了这个优势,因此,它的内部实现跟其他语言会有一些区别。
其中最大的区别在于,其他语言中,一般是多个网络句柄共用一个或多个线程,以此来减少线程之间的切换成本。而golang则会为每个网络句柄创建两个goroutine,一个用于读数据,一个用于写数据。
读写协程
下图是net/http源码中创建这两个goroutine的地方。
源码中创建两个协程的地方
了解它的内部实现原理,可以帮助我们写出更高性能的代码,以及避免协程泄露造成的内存泄漏问题。
这篇文章是希望通过几个例子让大家对net/http的内部实现有更直观的理解。
连接与协程数量的关系
首先我们来看一个例子。
func main() { tr := &http.Transport{ MaxIdleConns: 100, IdleConnTimeout: 3 * time.Second, } n := 5 for i := 0; i < n; i++ { req, _ := http.NewRequest("POST", "https://www.baidu.com", nil) req.Header.Add("content-type", "application/json") client := &http.Client{ Transport: tr, Timeout: 3 * time.Second, } resp, _ := client.Do(req) _, _ = ioutil.ReadAll(resp.Body) _ = resp.Body.Close() } time.Sleep(time.Second * 5) fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine()) }
上面的代码做的事情很简单,执行5次循环http请求,最终通过runtime.NumGoroutine()方法打印当前的goroutine数量。
代码里只有三个地方需要注意:
- 1. Transport设置了一个3s的空闲连接超时
- 2. for循环执行了5次http请求
- 3. 程序退出前执行了5s sleep
答案输出1
。也就是说当程序退出的时候,当前的goroutine数量为1,毫无疑问它指的是正在运行main方法的goroutine,后面我们都叫它main goroutine
。
再来看个例子。
func main() { tr := &http.Transport{ MaxIdleConns: 100, IdleConnTimeout: 3 * time.Second, } n := 5 for i := 0; i < n; i++ { req, _ := http.NewRequest("POST", "https://www.baidu.com", nil) req.Header.Add("content-type", "application/json") client := &http.Client{ Transport: tr, Timeout: 3 * time.Second, } resp, _ := client.Do(req) _, _ = ioutil.ReadAll(resp.Body) _ = resp.Body.Close() } time.Sleep(time.Second * 1) fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine()) }
在原来的基础上,我们程序退出前的睡眠时间,从5s改成1s,此时输出3
。也就是说除了main方法所在的goroutine,还多了两个goroutine,我们大概也能猜到,这就是文章开头提到的读goroutine和写goroutine。也就是说程序在退出时,还有一个网络连接没有断开。
这是一个TCP长连接。
HTTP1.1底层依赖TCP
网络五层模型中,HTTP处于应用层,它的底层依赖了传输层的TCP协议。
当我们发起http请求时,如果每次都要建立新的TCP协议,那就需要每次都经历三次握手,这会影响性能,因此更好的方式就是在http请求结束后,不立马断开TCP连接,将它放到一个空闲连接池中,后续有新的http请求时就复用该连接。
像这种长时间存活,被多个http请求复用的TCP连接,就是所谓的长连接。反过来,如果每次HTTP请求结束就将TCP连接进行四次挥手断开,下次有需要执行HTTP调用时就再建立,这样的TCP连接就是所谓的短连接。
HTTP1.1之后默认使用长连接。
连接池复用连接
那为什么这跟5s和1s有关系?
这是因为长连接在空闲连接池也不能一直存放着,如果一直没被使用放着也是浪费资源,因此会有个空闲回收时间,也就是上面代码中的IdleConnTimeout,我们设置的是3s
,当代码在结束前sleep了5s
后,长连接就已经被释放了,因此输出结果是只剩一个main goroutine。当sleep 1s
时,长连接还在空闲连接池里,因此程序结束时,就还剩3个goroutine(main goroutine+网络读goroutine+网络写goroutine)。
我们可以改下代码下验证这个说法。我们知道,HTTP可以通过connection
的header头
来控制这次的HTTP请求是用的长连接还是短连接。connection:keep-alive
表示http请求结束后,tcp连接保持存活,也就是长连接, connection:close
则是短连接。
req.Header.Add("connection", "close")
就像下面这样。
func main() { tr := &http.Transport{ MaxIdleConns: 100, IdleConnTimeout: 3 * time.Second, } n := 5 for i := 0; i < n; i++ { req, _ := http.NewRequest("POST", "https://www.baidu.com", nil) req.Header.Add("content-type", "application/json") req.Header.Add("connection", "close") client := &http.Client{ Transport: tr, Timeout: 3 * time.Second, } resp, _ := client.Do(req) _, _ = ioutil.ReadAll(resp.Body) _ = resp.Body.Close() } time.Sleep(time.Second * 1) fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine()) }
此时,会发现,程序重新输出1
。完全符合我们预期。