前言
我们再进行网络编程时,主要是编写“应用层”代码,如果真正要发送这个数据,需要上层协议调用下层协议,也就是应用层调用传输层,传输层给应用层提供一组 API,统称为 Socket API
一、基于Socket的网络通信传输(传输层)
Socket 套接字,是由系统提供用于网络通信的技术,是基于 TCP/IP 协议的网络通信的基本操作单元。基于Socket 套接字的网络程序开发就是网络编程。
在这一块,我们对于传输层协议,主要学习两种 Socket 套接字:
数据报套接字:使用传输层UDP协议。UDP,即 User Datagram Protocol(用户数据报协议),传输层协议。
以下为UDP的特点(细节后续介绍):
- 无连接:使用 udp 通信的双方,不需要刻意保存对端的相关信息。
- 不可靠传输:不关注结果
- 面向数据报:以一个 udp 数据报为基本单位
- 全双工:双向通信(有接收缓冲区,无发送缓冲区)
- 大小受限:一次最多传输 64k
流套接字:使用传输层TCP协议。TCP,即 Transmission Control Protocol(传输控制协议),传输层协议。
以下为TCP的特点(细节后续介绍):
- 有连接:使用 TCP 通信双方,则需要刻意各自记录了对方的信息
- 可靠传输:发送后尽可能的传输过去,失败了也知道
- 面向字节流:以字节流为传输的基本单位,读写方式非常灵活
- 全双工:双向通信(有接收缓冲区,也有发送缓冲区)
- 大小不限
二、UDP 的数据报套接字编程
DatagramSocket 是UDP Socket,用于发送和接收UDP数据报。
这里的 Socket 我们可以类比于 File 对象理解,我们知道如果我们是不能直接操作硬盘的,如果想要操作硬盘就需要借助 File。对象间接操作。Socket 也是类似,它对应于网卡这个硬件设备,如果我们想要操作网卡,就需要一个 Socket 对象间接操作网卡。向 socket 对象中1写数据,就相当于通过网卡发送消息。从 socket 对象中读数据,就相当于通过网卡接收消息。
1、UDP 套接字编程 API
(1)DatagramSocket
DatagramSocket 构造方法
方法签名 | 方法说明 |
DatagramSocket() | 创建一个UDP数据报套接字的Socket,绑定到本机任意一个随机端口(一般用于客户端) |
DatagramSocket(int port) | 创建一个UDP数据报套接字的Socket,绑定到本机指定的端口(一般用于服务端) |
说明:对于服务器,一般要手动指定一个固定的端口,客户端则不要求。类似于我去食堂吃饭,给我提供食物的窗口就是一个服务器,而我是接收食物的消费者,可看做是客户端,窗口需要有一个固定的窗口号,便于我找到它,而我在享受食物时,没有固定的座位,哪里有空位就做哪里。
DatagramSocket 方法
方法签名 | 方法说明 |
void receive(DatagramPacket p) | 从此套接字接收数据报(如果没有接收到数据报,该方法会阻塞等待) |
void send(DatagramPacket p) | 从此套接字发送数据报包(不会阻塞等待,直接发送) |
void close() | 关闭此数据报套接字 |
(2)DatagramPacket
DatagramPacket 是 UDP Socket 发送和接收的数据报
DatagramPacket构造方法
方法签名 | 方法说明 |
DatagramPacket(byte[] buf, int length) | 构造一个DatagramPacket以用来接收数据报,接收的数据保存在字节数组(第一个参数buf)中,接收指定长度(第二个参数length) |
DatagramPacket(byte[] buf, int offset, int length) | 以用来接收数据报,接收的数据保存在字节数组(第一个参数buf)中,接收从offset到指定长度length |
DatagramPacket(byte[] buf, int length, InetAddress address, int port) |
用来发送数据报,发送的数据为字节数组(第一个参数buf)中,length 为数据长度,address为目标主机的地址,port为目标主机的端口号。 |
DatagramPacket(byte[] buf, int offset, int length, InetAddress address, int port) |
用来发送数据报,发送的数据为字节数组(第一个参数buf)中,从offset到 length 为数据长度,address为目标主机的地址,port为目标主机的端口号。 |
DatagramPacket(byte[] buf, int length, SocketAddress address) | 用来发送数据报,发送的数据为字节数组(第一个参数buf)中,length 为数据长度。 |
DatagramPacket(byte[] buf, int offset, int length, SocketAddress address) |
构造一个DatagramPacket以用来发送数据报,发送的数据为字节数组(第一个参数buf)中,从offset到指定长度length。address指定目的主机的IP和端口号 |
DatagramPacket方法
方法签名 | 方法说明 |
InetAddress getAddress() | 从接收的数据报中,获取发送端主机IP地址;或从发送的数据报中,获取接收端主机IP地址 |
int getPort() | 从接收的数据报中,获取发送端主机的端口号;或从发送的数据报中,获取接收端主机端口号 |
byte[] getData() | 获取数据报中的数据 |
2、使用 UDP Socket 实现简单通信
下面我们在 Java 中使用 UDP 协议实现的一个简单的客户端和服务端的通信。
下面的 服务器-客户端 代码看起来挺复杂,其实和数据库中的 JDBC 差不多,都是固定的套路,尽管之后在写更复杂的 服务器-客户端 程序,也都是在这个基础上拓展。例如下面的 UDP Socket 通过传输层实现网络通信,代码无非就下面几个步骤:
1.对于服务器:
(1)读取请求并解析
(2)根据请求计算响应
(3)把响应结果发送到客户端
2.对于客户端:
(1)构造并发送请求
(2)接收服务器返回的响应并解析响应
服务器程序:
import java.io.IOException; import java.net.DatagramPacket; import java.net.DatagramSocket; import java.net.SocketException; // Echo-回显服务器。客户端发了个请求,服务器返回一个一模一样的响应。 public class UdpEchoSever { // 需要先定义一个 socket 对象,使用网络通信,必须要使用 socekt 对象 private DatagramSocket socket = null; // 绑定一个端口号,不一定能成功,比如某个端口号已经被别的进程占用了,此时这里的绑定操作就会出错。 // 需要注意的是:同一个主机上,一个端口,同一时刻,只能被一个进程绑定。 public UdpEchoSever(int port) throws SocketException { socket = new DatagramSocket(port); } // 启动服务器主逻辑 public void start() throws IOException { System.out.println("服务器启动!"); while (true) { // 每次循环,做三件事 // 1. 读取请求并解析 // 构造一个空的DatagramPacket对象,用来接收客户端请求 DatagramPacket requestPacket = new DatagramPacket(new byte[4096],4096); // 从网卡上接收请求 此处的 requestPacket 为输出型参数 socket.receive(requestPacket); // 这里为了方便处理这个请求,将数据包转化为 String String request = new String(requestPacket.getData(),0,requestPacket.getLength()); // 2. 根据请求计算响应 String response = process(request); // 3. 把响应结果写回到客户端 // 根据 response 字符串,构造一个 DatagramPacket // 和请求 packet 不同,此处构造响应的时候,需要指定这个包要发给谁 DatagramPacket responsePacket = new DatagramPacket(response.getBytes(),response.getBytes().length, // requestPacket 是从客户端这里收来的,getSocketAddress 会得到客户端的 ip 何为端口 requestPacket.getSocketAddress()); socket.send(responsePacket); // 方面查看,打印一下日志 // ip 和 端口号 + 请求内容 + 响应内容 System.out.printf("[%s:%d] req: %s, resp: %s\n",requestPacket.getAddress().toString(),requestPacket.getPort(),request,response); } } // process是请求处理方法,这是服务器中的一个关键环节!!! public String process(String request) { return request; } // 主函数 public static void main(String[] args) throws IOException { UdpEchoSever udpEchoSever = new UdpEchoSever(9090); udpEchoSever.start(); } }
客户端程序:
import java.io.IOException; import java.net.*; import java.util.Scanner; public class UdpEchoClient { private DatagramSocket socket = null; private String serverIP; private int serverPort; // 客户端启动, 需要知道服务器在哪里!! public UdpEchoClient(String serverIP, int serverPort) throws SocketException { // 对于客户端来说, 不需要显示关联端口. // 不代表没有端口, 而是系统自动分配了个空闲的端口. socket = new DatagramSocket(); this.serverIP = serverIP; this.serverPort = serverPort; } public void start() throws IOException { // 通过这个客户端可以多次和服务器进行交互. Scanner scanner = new Scanner(System.in); while (true) { // 1. 先从控制台, 读取一个字符串过来 // 先打印一个提示符, 提示用户要输入内容 System.out.print("-> "); String request = scanner.next(); // 2. 把字符串构造成 UDP packet, 并进行发送. DatagramPacket requestPacket = new DatagramPacket(request.getBytes(), request.getBytes().length, InetAddress.getByName(serverIP), serverPort); socket.send(requestPacket); // 3. 客户端尝试读取服务器返回的响应 DatagramPacket responsePacket = new DatagramPacket(new byte[4096], 4096); socket.receive(responsePacket); // 4. 把响应数据转换成 String 显示出来. String response = new String(responsePacket.getData(), 0, responsePacket.getLength()); System.out.printf("req: %s, resp: %s\n", request, response); } } public static void main(String[] args) throws IOException { // 127.0.0.1 是一个特殊的IP地址,表示本机的回环地址。 UdpEchoClient udpEchoClient = new UdpEchoClient("127.0.0.1", 9090); udpEchoClient.start(); } }
对于UDP Echo Sever 来说,socket 对象的生命周期伴随整个程序的不需要 close。这个 socket 对象是出了循环就不用了,但是循环结束就意味着 start 结束,意味着 main 方法结束,意味着进程结束,进程结束所有文件资源就自动释放了。
三、TCP 流套接字编程
1、TCP 流套接字编程 API
(1)SeverSocket
ServerSocket 是创建TCP服务端Socket的API。
ServerSocket构造方法
方法签名 | 方法说明 |
ServerSocket(int port) | 创建一个服务端流套接字Socket,并绑定到指定端口 |
ServerSocket 方法
方法签名 | 方法说明 |
Socket.accept() | 开始监听指定端口(创建时绑定的端口),有客户端连接后,返回一个服务端Socket对象,并基于该Socket建立与客户端的连接,否则阻塞等待 |
void close() | 关闭此套接字 |
(2)Socket
Socket 是客户端Socket,或服务端中接收到客户端建立连接(accept方法)的请求后,返回的服务端Socket。
不管是客户端还是服务端Socket,都是双方建立连接以后,保存的对端信息,及用来与对方收发数据的。
Socket 构造方法
方法签名 | 方法说明 |
Socket(String host, intport) | 创建一个客户端流套接字Socket,并与对应IP的主机上,对应端口的进程建立连接 |
Socket 方法
方法签名 | 方法说明 |
int getPort() | 返回此套接字连接到的远程端口号 |
InetAddress getInetAddress() | 返回套接字所连接的地址 |
InputStream getInputStream() | 返回此套接字的输入流 |
OutputStream getOutputStream() | 返回此套接字的输出流 |
void close() | 关闭此套接字 |
2、使用 TCP Socket 实现简单通信
下面我们同样写一个简单的基于 TCP 协议实现的回显服务器和客户端,用户可以通过客户端向服务器发送请求并接收响应。
服务器程序:
import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.io.PrintWriter; import java.net.ServerSocket; import java.net.Socket; import java.util.Scanner; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; public class TcpEchoSever { // 这里有个比喻: // severSocket 看做是外场拉客的小哥 // clientSocket 看做内场服务的小姐姐 // severSocket 只有一个,clientSocket 会给每个客户端都分配一个 private ServerSocket serverSocket = null; public TcpEchoSever(int port) throws IOException { serverSocket = new ServerSocket(port); } public void start() throws IOException { System.out.println("服务器启动!"); ExecutorService pool = Executors.newCachedThreadPool(); while (true) { Socket clientSocket = serverSocket.accept(); // 如果直接调用,该方法会影响这个循环的二次执行,导致 accept 不及时 // 创建新线程,用新线程调用 processConnection // 每次来一个新的客户端都创建一个新线程 // 1.方案一:每次创建线程(每次创建销毁,开销较大) // Thread t = new Thread(()->{ // processConnection(clientSocket); // }); // t.start(); // 2.方案二:使用线程池 pool.submit(()->{ try { processConnection((clientSocket)); } catch (IOException e) { e.printStackTrace(); } }); } } private void processConnection(Socket clientSocket) throws IOException { // 打印一下日志 System.out.printf("[%s:%d] 客户端上线!\n",clientSocket.getInetAddress().toString(), clientSocket.getPort()); // try () 这种写法,( ) 中允许写多个流对象,使用 ; 分割 try (InputStream inputStream = clientSocket.getInputStream(); OutputStream outputStream = clientSocket.getOutputStream()) { // 为了简单,把字节流包装成了更方便的字符流 Scanner scanner = new Scanner(inputStream); PrintWriter printWriter = new PrintWriter(outputStream); // 一次可能发来多个请求,这里规定以 \n 为分隔符 while (true) { // 1.读取请求 // 特殊处理一下: if (!scanner.hasNext()) { // 读取的流到了结尾(对端关闭了) System.out.printf("[%s:%d] 客户端下线!\n",clientSocket.getInetAddress().toString(), clientSocket.getPort()); break; } // 直接使用 scanner 读取一段字符串 String request = scanner.next(); // 2.根据请求计算响应 String response = process(request); // 3.把响应写会给客户端,不要忘了,响应里也是要带上换行的 printWriter.println(response); // 写网卡为全缓冲,这里使用flush刷新 printWriter.flush(); // 最后打印一下日志 System.out.printf("[%s:%d] req: %s resp: %s\n",clientSocket.getInetAddress().toString(), clientSocket.getPort(),request,response); } } catch (IOException e) { e.printStackTrace(); } finally { // 关闭连接 clientSocket.close(); } } // 处理请求 public String process(String request) { return request; } // 主方法 public static void main(String[] args) throws IOException { TcpEchoSever tcpEchoSever = new TcpEchoSever(9090); tcpEchoSever.start(); } }
客户端程序:
import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.io.PrintWriter; import java.net.Socket; import java.util.Scanner; // idea 中默认一个程序只能启动一个,启动多个客户端可配置一下 IDEA。 public class TcpEchoClient { private Socket socket = null; // ***只有这里会建立连接,和 Udp 不同*** public TcpEchoClient(String severIp, int port) throws IOException { // 这个操作就相当于让客户端和服务器建立 TCP 连接 // 这里的链接连上了,accept 就会返回 socket = new Socket(severIp,port); } public void start() { Scanner scanner = new Scanner(System.in); try (InputStream inputStream = socket.getInputStream(); OutputStream outputStream = socket.getOutputStream()) { // 将字节流包装成字符流 Scanner scannerFromSocket = new Scanner(inputStream); PrintWriter printWriter = new PrintWriter(outputStream); while (true) { // 1.从键盘上读取用户输入的内容 System.out.print("->"); String request = scanner.next(); // 2.把读取的内容构成请求,发给服务器 // 注意:这里的发送,是带换行的! printWriter.println(request); // 写网卡为全缓冲,这里使用flush刷新 printWriter.flush(); // 3.从服务器读取响应内容 String response = scannerFromSocket.next(); // 4. 把响应的结果显示到控制台上 System.out.printf("req: %s ; resq: %s\n",request,response); } } catch (IOException e) { e.printStackTrace(); } } // 主方法 public static void main(String[] args) throws IOException { TcpEchoClient tcpEchoClient = new TcpEchoClient("127.0.0.1",9090); tcpEchoClient.start(); } }
3、使用 Tcp 协议进行网络传输的“五大要点”
(1)自定义简单的应用层协议
对于客户端及服务端应用程序来说,请求和响应,需要约定一致的数据格式,上述为了简单,做了如下简单约定:
- 每个请求是个字符串
- 请求和请求之间,使用\n(换行符)分割
由于是回显服务器,响应和请求是一模一样的,因此也遵循上述规则。
(2)写网卡是全缓冲(写文件也是全缓冲)
为了提高IO效率,引入了缓冲区,使用缓冲区可以减少IO次数,提高整体的效率。上述 printWriter.println(“内容”) 过后,内容就被写入到了缓冲区,如果不刷新缓冲区,就要等到缓冲区满,自动刷新到网卡中,所以执行上述程序可能就会出现只请求不响应的情况,为了解决这个问题,我们可以在每次写网卡后,手动进行刷新:printWriter.flush()
(3)长连接 与 短连接
长连接和短连接是指在网络编程中不同的连接方式。
短连接指客户端与服务器建立连接后,在完成一次请求-响应操作之后就会断开连接。每次请求都需要重新建立连接,这种方式可以保证连接使用的资源较少,但也对服务器的压力较大。常用于小数据量的频繁通信场景,例如HTTP协议。
而长连接则是指客户端与服务器建立连接后,在一段时间内可以保持连接状态,多次请求-响应操作共用这一个连接。这种方式相对于短连接可以减少连接建立、关闭的次数,提高了通信效率,但是缺点是需要维护连接的状态,如果长时间没有交互,则需要进行心跳检测等机制来维持连接状态。常用于对实时性要求较高的通信场景,例如即时通讯、游戏等。
在上述TCP协议中使用到长连接。
(4)使用多线程
上述例子的服务器中使用到了多线程,如果不使用多线程,代码可能产生 BUG。因为上述 start 的 while 循环,是用来循环的接收连接,而下面的 processConnection 内部也有一个循环用来循环的处理连接。假设现在来了一个连接,start 方法接收连接后其中的 processConnection 就开始循环的处理这个连接,直到这个连接关闭,但是如果这个期间又有别的客户端进行新的连接,由于当前start中的第一次循环还没结束,就会导致一直阻塞,使其他连接处理不及时。为了解决上述问题,一个很好的办法就是使用多线程,为每个连接都分配一个线程独立处理。
(5)频繁创建,生命周期又短资源的需要 close 及时释放
像上述使用 UDP 协议进行网络通信这种,生命周期伴随整个程序的不需要 close。
在这里,使用 TCP 进行网络通信时,服务器那里的每个 Socket 对象只是给一个连接提供服务的,可能会有很多个连接。在这种情况下,服务器会为每个连接都创建一个新的 Socket 对象,作为后续通信的基础。当这个连接不再需要服务时,需要将相应的 Socket 对象关闭,以便及时释放资源。