Golang的主要 设计目标之一就是面向大规模后端服务程序，网络通信这块是服务端 程序必不可少也是至关重要的一部分。在日常应用中，我们也可以看到Go中的net以及其subdirectories下的包均是“高频+刚需”，而TCP socket则是网络编程的主流，即便您没有直接使用到net中有关TCP Socket方面的接口，但net/http总是用到了吧，http底层依旧是用tcp socket实现的。
网络编程方面，我们最常用的就是tcp socket编程了，在posix标准出来后，socket在各大主流OS平台上都得到了很好的支持。关于tcp programming，最好的资料莫过于W. Richard Stevens 的网络编程圣经《UNIX网络 编程 卷1：套接字联网API》 了，书中关于tcp socket接口的各种使用、行为模式、异常处理讲解的十分细致。Go是自带runtime的跨平台编程语言，Go中暴露给语言使用者的tcpsocket api是建立OS原生tcp socket接口之上的。由于Go runtime调度的需要，golang tcp socket接口在行为特点与异常处理方面与OS原生接口有着一些差别。这篇博文的目标就是整理出关于Go tcp socket在各个场景下的使用方法、行为特点以及注意事项。
一、模型
从tcp socket诞生后，网络编程架构模型也几经演化，大致是：“每进程一个连接” –> “每线程一个连接” –> “Non-Block + I/O多路复用(linux epoll/windows iocp/freebsd darwin kqueue/solaris Event Port)”。伴随着模型的演化，服务程序愈加强大，可以支持更多的连接，获得更好的处理性能。
目前主流web server一般均采用的都是”Non-Block + I/O多路复用”（有的也结合了多线程、多进程）。不过I/O多路复用也给使用者带来了不小的复杂度，以至于后续出现了许多高性能的I/O多路复用框架， 比如libevent、libev、libuv等，以帮助开发者简化开发复杂性，降低心智负担。不过Go的设计者似乎认为I/O多路复用的这种通过回调机制割裂控制流 的方式依旧复杂，且有悖于“一般逻辑”设计，为此Go语言将该“复杂性”隐藏在Runtime中了：Go开发者无需关注socket是否是 non-block的，也无需亲自注册文件描述符的回调，只需在每个连接对应的goroutine中以**“block I/O”**的方式对待socket处理即可，这可以说大大降低了开发人员的心智负担。一个典型的Go server端程序大致如下：
:::details 查看代码
//go-tcpsock/server.go func handleConn(c net.Conn) { defer c.Close() for { // read from the connection // ... ... // write to the connection //... ... } } func main() { l, err := net.Listen("tcp", ":8888") if err != nil { fmt.Println("listen error:", err) return } for { c, err := l.Accept() if err != nil { fmt.Println("accept error:", err) break } // start a new goroutine to handle // the new connection. go handleConn(c) } }
:::
用户层眼中看到的goroutine中的“block socket”，实际上是通过Go runtime中的netpoller通过Non-block socket + I/O多路复用机制“模拟”出来的，真实的underlying socket实际上是non-block的，只是runtime拦截了底层socket系统调用的错误码，并通过netpoller和goroutine 调度让goroutine“阻塞”在用户层得到的Socket fd上。比如：当用户层针对某个socket fd发起read操作时，如果该socket fd中尚无数据，那么runtime会将该socket fd加入到netpoller中监听，同时对应的goroutine被挂起，直到runtime收到socket fd 数据ready的通知，runtime才会重新唤醒等待在该socket fd上准备read的那个Goroutine。而这个过程从Goroutine的视角来看，就像是read操作一直block在那个socket fd上似的。具体实现细节在后续场景中会有补充描述。
二、TCP连接的建立
众所周知，TCP Socket的连接的建立需要经历客户端和服务端的三次握手的过程。连接建立过程中，服务端是一个标准的Listen + Accept的结构(可参考上面的代码)，而在客户端Go语言使用net.Dial或DialTimeout进行连接建立：
阻塞Dial：
conn, err := net.Dial("tcp", "google.com:80") if err != nil { //handle error } // read or write on conn
或是带上超时机制的Dial：
conn, err := net.DialTimeout("tcp", ":8080", 2 * time.Second) if err != nil { //handle error } // read or write on conn
对于客户端而言，连接的建立会遇到如下几种情形：
1、网络不可达或对方服务未启动
如果传给Dial的Addr是可以立即判断出网络不可达，或者Addr中端口对应的服务没有启动，端口未被监听，Dial会几乎立即返回错误，比如：
:::details
//go-tcpsock/conn_establish/client1.go ... ... func main() { log.Println("begin dial...") conn, err := net.Dial("tcp", ":8888") if err != nil { log.Println("dial error:", err) return } defer conn.Close() log.Println("dial ok") }
如果本机8888端口未有服务程序监听，那么执行上面程序，Dial会很快返回错误：
$go run client1.go 2015/11/16 14:37:41 begin dial... 2015/11/16 14:37:41 dial error: dial tcp :8888: getsockopt: connection refused
:::
2、对方服务的listen backlog满
还有一种场景就是对方服务器很忙，瞬间有大量client端连接尝试向server建立，server端的listen backlog队列满，server accept不及时((即便不accept，那么在backlog数量范畴里面，connect都会是成功的，因为new conn已经加入到server side的listen queue中了，accept只是从queue中取出一个conn而已)，这将导致client端Dial阻塞。我们还是通过例子感受Dial的行为特点：
:::details
服务端代码：
//go-tcpsock/conn_establish/server2.go ... ... func main() { l, err := net.Listen("tcp", ":8888") if err != nil { log.Println("error listen:", err) return } defer l.Close() log.Println("listen ok") var i int for { time.Sleep(time.Second * 10) if _, err := l.Accept(); err != nil { log.Println("accept error:", err) break } i++ log.Printf("%d: accept a new connection\n", i) } }
客户端代码：
//go-tcpsock/conn_establish/client2.go ... ... func establishConn(i int) net.Conn { conn, err := net.Dial("tcp", ":8888") if err != nil { log.Printf("%d: dial error: %s", i, err) return nil } log.Println(i, ":connect to server ok") return conn } func main() { var sl []net.Conn for i := 1; i < 1000; i++ { conn := establishConn(i) if conn != nil { sl = append(sl, conn) } } time.Sleep(time.Second * 10000) }
从程序可以看出，服务端在listen成功后，每隔10s钟accept一次。客户端则是串行的尝试建立连接。这两个程序在Darwin下的执行 结果：
$go run server2.go 2015/11/16 21:55:41 listen ok 2015/11/16 21:55:51 1: accept a new connection 2015/11/16 21:56:01 2: accept a new connection ... ... $go run client2.go 2015/11/16 21:55:44 1 :connect to server ok 2015/11/16 21:55:44 2 :connect to server ok 2015/11/16 21:55:44 3 :connect to server ok ... ... 2015/11/16 21:55:44 126 :connect to server ok 2015/11/16 21:55:44 127 :connect to server ok 2015/11/16 21:55:44 128 :connect to server ok 2015/11/16 21:55:52 129 :connect to server ok 2015/11/16 21:56:03 130 :connect to server ok 2015/11/16 21:56:14 131 :connect to server ok ... ...
可以看出Client初始时成功地一次性建立了128个连接，然后后续每阻塞近10s才能成功建立一条连接。也就是说在server端 backlog满时(未及时accept)，客户端将阻塞在Dial上，直到server端进行一次accept。至于为什么是128，这与darwin 下的默认设置有关：
$sysctl -a|grep kern.ipc.somaxconn kern.ipc.somaxconn: 128
如果我在ubuntu 14.04上运行上述server程序，我们的client端初始可以成功建立499条连接。
如果server一直不accept，client端会一直阻塞么？我们去掉accept后的结果是：在Darwin下，client端会阻塞大 约1分多钟才会返回timeout：
2015/11/16 22:03:31 128 :connect to server ok 2015/11/16 22:04:48 129: dial error: dial tcp :8888: getsockopt: operation timed out
而如果server运行在ubuntu 14.04上，client似乎一直阻塞，我等了10多分钟依旧没有返回。 阻塞与否看来与server端的网络实现和设置有关。
tips: 经测试，确实瞬间连接的成功量不一样，我的是201.
:::
3、网络延迟较大，Dial阻塞并超时
如果网络延迟较大，TCP握手过程将更加艰难坎坷（各种丢包），时间消耗的自然也会更长。Dial这时会阻塞，如果长时间依旧无法建立连接，则Dial也会返回“ getsockopt: operation timed out”错误。
在连接建立阶段，多数情况下，Dial是可以满足需求的，即便阻塞一小会儿。但对于某些程序而言，需要有严格的连接时间限定，如果一定时间内没能成功建立连接，程序可能会需要执行一段“异常”处理逻辑，为此我们就需要DialTimeout了。下面的例子将Dial的最长阻塞时间限制在2s内，超出这个时长，Dial将返回timeout error：
:::details
//go-tcpsock/conn_establish/client3.go ... ... func main() { log.Println("begin dial...") conn, err := net.DialTimeout("tcp", "104.236.176.96:80", 2*time.Second) if err != nil { log.Println("dial error:", err) return } defer conn.Close() log.Println("dial ok") }
执行结果如下（需要模拟一个延迟较大的网络环境）：
$go run client3.go 2015/11/17 09:28:34 begin dial... 2015/11/17 09:28:36 dial error: dial tcp 104.236.176.96:80: i/o timeout
经本人验证，确实是这样的结果。
:::
三、Socket读写
连接建立起来后，我们就要在conn上进行读写，以完成业务逻辑。前面说过Go runtime隐藏了I/O多路复用的复杂性。语言使用者只需采用goroutine+Block I/O的模式即可满足大部分场景需求。Dial成功后，方法返回一个net.Conn接口类型变量值，这个接口变量的动态类型为一个*TCPConn：
//$GOROOT/src/net/tcpsock_posix.go type TCPConn struct { conn }
TCPConn内嵌了一个unexported类型：conn，因此TCPConn”继承”了conn的Read和Write方法，后续通过Dial返回值调用的Write和Read方法均是net.conn的方法：
//$GOROOT/src/net/net.go type conn struct { fd *netFD } func (c *conn) ok() bool { return c != nil && c.fd != nil } // Implementation of the Conn interface. // Read implements the Conn Read method. func (c *conn) Read(b []byte) (int, error) { if !c.ok() { return 0, syscall.EINVAL } n, err := c.fd.Read(b) if err != nil && err != io.EOF { err = &OpError{Op: "read", Net: c.fd.net, Source: c.fd.laddr, Addr: c.fd.raddr, Err: err} } return n, err } // Write implements the Conn Write method. func (c *conn) Write(b []byte) (int, error) { if !c.ok() { return 0, syscall.EINVAL } n, err := c.fd.Write(b) if err != nil { err = &OpError{Op: "write", Net: c.fd.net, Source: c.fd.laddr, Addr: c.fd.raddr, Err: err} } return n, err }
conn.Read
下面我们先来通过几个场景来总结一下conn.Read的行为特点。
1、Socket中无数据
连接建立后，如果对方未发送数据到socket，接收方(Server)会阻塞在Read操作上，这和前面提到的“模型”原理是一致的。执行该Read操作的goroutine也会被挂起。runtime会监视该socket，直到其有数据才会重新
调度该socket对应的Goroutine完成read。
:::details
package main import ( "log" "net" ) func process(con net.Conn) { defer con.Close() for { var buf = make([]byte, 128) log.Println("begin--") n, err := con.Read(buf) if err != nil { log.Println("conn read occur error: ", err) return } log.Printf("read %d bytes, content is %s\n", n, string(buf[:n])) } } func main() { listen, err := net.Listen("tcp", ":8000") if err != nil { log.Fatalln("listen occur error: ", err) } for { c, err := listen.Accept() if err != nil { log.Println("accept occur error: ", err) break } log.Println("accept a new connection") go process(c) } }
package main import ( "log" "net" "time" ) func main() { log.Println("dial begin--") con, err := net.Dial("tcp", ":8000") if err != nil { log.Println("connect occur error: ", err) return } defer con.Close() log.Println("dial ok") time.Sleep(100 * time.Second) }
运行结果：
PS> go run .\server1.go 2022/04/18 23:30:19 accept a new connection 2022/04/18 23:30:19 begin--
PS> go run .\client1.go 2022/04/18 23:30:19 dial begin-- 2022/04/18 23:30:19 dial ok
可以看到server的process协程堵塞在read操作。
:::
2、Socket中有部分数据
如果socket中有部分数据，且长度小于一次Read操作所期望读出的数据长度，那么Read将会成功读出这部分数据并返回，而不是等待所有期望数据全部读取后再返回。
:::details
... ... func main() { if len(os.Args) <= 1 { fmt.Println("usage: go run client2.go YOUR_CONTENT") return } log.Println("begin dial...") conn, err := net.Dial("tcp", ":8888") if err != nil { log.Println("dial error:", err) return } defer conn.Close() log.Println("dial ok") time.Sleep(time.Second * 2) data := os.Args[1] conn.Write([]byte(data)) time.Sleep(time.Second * 10000) }
... ... func handleConn(c net.Conn) { defer c.Close() for { // read from the connection var buf = make([]byte, 10) log.Println("start to read from conn") n, err := c.Read(buf) if err != nil { log.Println("conn read error:", err) return } log.Printf("read %d bytes, content is %s\n", n, string(buf[:n])) } } ... ...
运行结果:
Client向socket中写入五个字节数据(“
world”)，Server端创建一个len = 10的slice，等待Read将读取的数据放入slice；
Server随后读取到那五个字节：”world”。Read成功返回，n =5 ，err = nil。
:::
3、Socket中有足够数据
如果socket中有数据，且长度大于等于一次Read操作所期望读出的数据长度，那么Read将会成功读出这部分数据并返回。这个情景是最符合我们对Read的期待的了：Read将用Socket中的数据将我们传入的slice填满后返回：n = 10, err = nil。
我们通过client2.go向Server2发送如下内容：worldsadasda，则
client端发送的内容长度为12个字节，Server端Read buffer的长度为10，因此Server Read第一次返回时只会读取10个字节；Socket中还剩余2个字节数据，Server再次Read时会把剩余数据读出。
4、Socket关闭
如果client端主动关闭了socket，那么Server的Read将会读到什么呢？这里分为“有数据关闭”和“无数据关闭”。
“有数据关闭”是指在client关闭时，socket中还有server端未读取的数据，我们在client3.go和server3.go中模拟这种情况：
:::details
package main import ( "log" "net" "time" ) func handleConn(c net.Conn) { defer c.Close() for { // read from the connection time.Sleep(10 * time.Second) var buf = make([]byte, 10) log.Println("start to read from conn") n, err := c.Read(buf) if err != nil { log.Println("conn read error:", err) return } log.Printf("read %d bytes, content is %s\n", n, string(buf[:n])) } } func main() { l, err := net.Listen("tcp", ":8888") if err != nil { log.Println("listen error:", err) return } for { c, err := l.Accept() if err != nil { log.Println("accept error:", err) break } // start a new goroutine to handle // the new connection. log.Println("accept a new connection") go handleConn(c) } }
package main import ( "fmt" "log" "net" "os" "time" ) func main() { if len(os.Args) <= 1 { fmt.Println("usage: go run client3.go YOUR_CONTENT") return } log.Println("begin dial...") conn, err := net.Dial("tcp", ":8888") if err != nil { log.Println("dial error:", err) return } defer conn.Close() log.Println("dial ok") time.Sleep(time.Second * 2) data := os.Args[1] conn.Write([]byte(data)) }
输出结果
> go run .\server3.go 2022/04/18 23:56:11 accept a new connection2022/04/18 23:56:21 start to read from conn 2022/04/18 23:56:21 read 5 bytes, content is hello 2022/04/18 23:56:31 start to read from conn 2022/04/18 23:56:31 conn read error: EOF ... > go run .\client3.go hello 2022/04/18 23:56:11 begin dial... 2022/04/18 23:56:11 dial ok
从输出结果来看，当client端close socket退出后，server3依旧没有开始Read，10s后第一次Read成功读出了5个字节的数据，当第二次Read时，由于client端 socket关闭，Read返回EOF error。
:::
通过上面这个例子，我们也可以猜测出“无数据关闭”情形下的结果，那就是Read直接返回EOF error。
5、读取操作超时
有些场合对Read的阻塞时间有严格限制，在这种情况下，Read的行为到底是什么样的呢？在返回超时错误时，是否也同时Read了一部分数据了呢？这个实验比较难于模拟，下面的测试结果也未必能反映出所有可能结果。我们编写了client4.go和server4.go来模拟这一情形。
:::details
package main import ( "log" "net" "time" ) func process(c net.Conn) { defer c.Close() for { // read from the connection time.Sleep(10 * time.Second) var buf = make([]byte, 65536) log.Println("start to read from conn") c.SetReadDeadline(time.Now().Add(time.Microsecond * 10)) n, err := c.Read(buf) if err != nil { log.Printf("conn read %d bytes, error: %s", n, err) if nerr, ok := err.(net.Error); ok && nerr.Timeout() { continue } return } log.Printf("read %d bytes, content is %s\n", n, string(buf[:n])) } } func main() { listen, err := net.Listen("tcp", ":8001") if err != nil { log.Println("listen occurs an error", err) } for { con, err := listen.Accept() if err != nil { log.Println("accept occurs an error: ", err) } go process(con) } }
package main import ( "log" "net" "time" ) func main() { log.Println("begin dial...") conn, err := net.Dial("tcp", ":8001") if err != nil { log.Println("dial error:", err) return } defer conn.Close() log.Println("dial ok") data := make([]byte, 65536) conn.Write(data) time.Sleep(time.Second * 10000) }
在Server端我们通过Conn的SetReadDeadline方法设置了10微秒的读超时时间，Server的执行结果如下：
> go version go version go1.17 windows/amd64 > go run .\server4.go 2022/04/20 22:26:30 start to read from conn 2022/04/20 22:26:30 read 65536 bytes, content is 2022/04/20 22:26:40 start to read from conn 2022/04/20 22:26:40 conn read 0 bytes, error: read tcp 127.0.0.1:8001->127.0.0.1:50548: i/o timeout 2022/04/20 22:26:50 start to read from conn 2022/04/20 22:26:50 conn read 0 bytes, error: read tcp 127.0.0.1:8001->127.0.0.1:50548: i/o timeout 2022/04/20 22:27:00 start to read from conn 2022/04/20 22:27:00 conn read 0 bytes, error: read tcp 127.0.0.1:8001->127.0.0.1:50548: i/o timeout 2022/04/20 22:27:10 start to read from conn 2022/04/20 22:27:10 conn read 0 bytes, error: read tcp 127.0.0.1:8001->127.0.0.1:50548: i/o timeout 2022/04/20 22:27:20 start to read from conn 2022/04/20 22:27:20 conn read 0 bytes, error: read tcp 127.0.0.1:8001->127.0.0.1:50548: i/o timeout exit status 0xc000013a
> go run .\client4.go 2022/04/20 22:26:20 begin dial... 2022/04/20 22:26:20 dial ok
第一次读取所有数据成功，没有超时。后面全是`read 0 bytes ... i/o timeout`,因为`client`仅仅是`sleep`而没有`down`，而`server`一直延时`10us` 在读取。
:::
Go语言TCP Socket编程（下)：https://developer.aliyun.com/article/1490870
