BIO、NIO、IO多路复用模型详细介绍&Java NIO 网络编程

简介: 上文介绍了网络编程的基础知识,并基于 Java 编写了 BIO 的网络编程。我们知道 BIO 模型是存在巨大问题的,比如 C10K 问题,其本质就是因其阻塞原因,导致如果想要承受更多的请求就必须有足够多的线程,但是足够多的线程会带来内存占用问题、CPU上下文切换带来的性能问题,从而造成服务端崩溃的现象。怎么解决这一问题呢?优化呗,所以后面就有了NIO、AIO、IO多路复用。本文将对这几个模型详细说明并基于 Java 编写 NIO。

前言

上文介绍了网络编程的基础知识,并基于 Java 编写了 BIO 的网络编程。我们知道 BIO 模型是存在巨大问题的,比如 C10K 问题,其本质就是因其阻塞原因,导致如果想要承受更多的请求就必须有足够多的线程,但是足够多的线程会带来内存占用问题、CPU上下文切换带来的性能问题,从而造成服务端崩溃的现象。怎么解决这一问题呢?优化呗,所以后面就有了NIO、AIO、IO多路复用。本文将对这几个模型详细说明并基于 Java 编写 NIO。

基本概念

I/O阻塞是哪里阻塞、怎么阻塞?先简单了解一些基本概念

  • 用户空间:被分配给用户进程的虚拟地址空间,用来存储用户进程的代码、数据和堆栈等。
  • 内核空间:操作系统的基础,负责管理计算机的硬件资源和提供系统调用接口,同时也是用户空间和硬件之间的桥梁。

在这里插入图片描述

为了保证操作系统的安全性和稳定性,用户进程和操作系统内核是隔离的,用户进程不能直接访问内核空间,而是需要通过系统调用等方式向内核发起请求,由内核代表用户进程执行操作。

也就是说我们的应用程序在向硬件设备,比如网卡、磁盘等读取或写入数据时需要经过内核。下面对BIO、NIO、IO多路复用模型逐一介绍,详细了解各模型IO过程。

BIO过程

首先明确一下,我们所说的IO阻塞是用户进程也就是用户空间中的程序在向硬件设备读取的这个过程,在还没有数据时给用户的反映是需要一直等待的,这个我们叫阻塞IO。过程如下图:
在这里插入图片描述

我们可以看到,在进程向内核发起调用后直到数据返回,整个过程都是阻塞的,结合Java BIO 编程,也就是说在 inputStream.read() 这个过程是阻塞的,就存在几个问题:

  1. 由于阻塞会占用当前线程,使之不能进行其他操作,当有新的请求时只能新建线程。在 Linux 系统中,每个线程的默认栈大小为 8MB,在不考虑其他因素的情况下,一个 8G 的服务器最多也就承载1000个请求量。
  2. 由于线程数会随着请求量增大而增大,当有大量的线程阻塞唤醒,CPU 频繁的切换上下文会导致性能的下降。

这个问题也就是C10K问题的本质,看上去很直观,使用少的线程就处理多个IO是不是就可以解决呢?继续看NIO过程。

NIO过程

NIO我们说的是非阻塞,通过对BIO的说明,NIO的非阻塞体现在:无论有无数据都直接响应给用户进程,如下图:

在这里插入图片描述

我们可以看到,确实是在用户进程调用recvfrom()函数后直接响应,但是在没有拿到数据之前一直在轮询调用,虽然没有因为阻塞造成CPU上下文的切换,但是CPU一直处于空转状态,不能充分发挥CPU的作用。与BIO一样,在单线程的情况下,只能依次处理IO事件,单个线程依然处理不了多个IO事件。

IO多路复用过程

既然NIO与BIO一样并不能解决因阻塞可能会造成的C10K问题,那如何让一个线程可以处理多个IO事件呢?可不可以这样:用一个线程专门监听这些IO,一旦哪个IO有数据了再去接收数据。IO多路复用就是这个原理,如下图:

在这里插入图片描述

我们可以看到,多了一个select()函数调用,select()会去监听指定的FD(这里注意一下,在Linux中,一切皆文件,包括socket),内核去监听FD对应的sockets。任意一个或多个socket有数据了就返回给select(),这个时候再去调用recvfrom()接收sockets的数据,从而实现了单个线程处理多个I/O操作,提高系统的效率和性能。

在Linux下,常用的I/O多路复用方式有三种:select、poll和epoll。

  • select和poll的原理是基于轮询,即不断地查询所有注册的I/O事件,如果有事件发生就立即通知应用程序。这种方式的效率较低,因为每次查询都需要遍历所有的I/O事件。

  • epoll的原理是基于事件通知,即只有当I/O事件发生时,才会通知应用程序。这种方式的效率更高,因为它避免了无效的查询。

Java NIO编程

相比Java BIO编程,Java NIO编程理解起来没有那么直观,不过在理解多个IO模型(尤其是IO多路复用)后就相对容易理解了,Java NIO实际上就是IO多路复用。

Java NIO 核心概念

在Java NIO编程中,有几个核心的概念(组件)需要了解:

  • 通道(Channel):通道是对原始I/O操作的抽象,可以用于读取和写入数据。它可以与文件、套接字等进行交互。

  • 缓冲区(Buffer):缓冲区是一个容器,用于存储数据。在进行读写操作时,数据会先被读取到缓冲区中,然后从缓冲区中写入或读取。

  • 选择器(Selector):选择器是Java NIO提供的一种多路复用机制,可以通过一个线程管理多个通道的I/O操作。

相对于BIO,开发者不直接与Socket交互,而是通过Selector与多个Channel交互,同时Buffer提供了方法来管理缓冲区的容量、位置和限制,通过设置这些属性,可以控制数据的读写位置和范围。总之NIO在提升IO处理效率和性能的同时支持更丰富的功能,

Java NIO 示例

以下是一个简单的Java NIO网络编程示例,用于创建一个基于NIO的服务器和客户端:

服务端代码:

import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.util.Iterator;

public class NIOServer {
   
   

    private Selector selector;

    public static void main(String[] args) throws IOException {
   
   
        NIOServer server = new NIOServer();
        server.startServer();
    }

    public void startServer() throws IOException {
   
   
        // 创建Selector
        selector = Selector.open();

        // 创建ServerSocketChannel,并绑定端口
        ServerSocketChannel serverChannel = ServerSocketChannel.open();
        serverChannel.configureBlocking(false);
        serverChannel.socket().bind(new InetSocketAddress(8888));

        // 将ServerSocketChannel注册到Selector上,并监听连接事件。当接收到一个客户端连接请求时就绪。该操作只给服务器使用。
        serverChannel.register(selector, SelectionKey.OP_ACCEPT);

        System.out.println("Server started on port 8888");

        // 循环等待事件发生
        while (true) {
   
   
            // 等待事件触发,阻塞 | selectNow():非阻塞,立刻返回。
            selector.select();

            Iterator<SelectionKey> keys = selector.selectedKeys().iterator();
            while (keys.hasNext()) {
   
   
                SelectionKey key = keys.next();
                // 移除当前处理的SelectionKey
                keys.remove();

                if (key.isAcceptable()) {
   
   
                    // 处理连接请求
                    handleAccept(key);
                }

                if (key.isReadable()) {
   
   
                    // 处理读数据请求
                    handleRead(key);
                }
            }
        }
    }

    private void handleAccept(SelectionKey key) throws IOException {
   
   
        ServerSocketChannel serverChannel = (ServerSocketChannel) key.channel();
        // 监听到ServerSocketChannel连接事件,获取到连接的客户端
        SocketChannel clientChannel = serverChannel.accept();
        clientChannel.configureBlocking(false);
        // 将clientChannel注册到Selector上,并监听读事件,当操作系统读缓冲区有数据可读时就绪(该客户端的)。
        clientChannel.register(selector, SelectionKey.OP_READ);

        System.out.println("Client connected: " + clientChannel.getRemoteAddress());
    }

    private void handleRead(SelectionKey key) throws IOException {
   
   
        SocketChannel clientChannel = (SocketChannel) key.channel();
        ByteBuffer buffer = ByteBuffer.allocate(1024);
        int bytesRead = clientChannel.read(buffer);

        if (bytesRead == -1) {
   
   
            // 客户端断开连接
            key.cancel();
            clientChannel.close();
            System.out.println("Client disconnected ");
            return;
        }

        byte[] data = new byte[bytesRead];
        buffer.flip();
        buffer.get(data);

        String message = new String(data).trim();
        System.out.println("Received message from client: " + message);

        // 回复客户端
        String response = "Server response: " + message;
        ByteBuffer responseBuffer = ByteBuffer.wrap(response.getBytes());
        clientChannel.write(responseBuffer);
    }
}

客户端代码:

import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.SocketChannel;
import java.util.Iterator;
import java.util.Scanner;

public class NIOClient {
   
   
    private Selector selector;
    private SocketChannel socketChannel;

    public static void main(String[] args) {
   
   
        NIOClient client = new NIOClient();
        new Thread(() -> client.doConnect("localhost", 8888)).start();
        Scanner scanner = new Scanner(System.in);
        while (true) {
   
   
            String message = scanner.nextLine();
            if ("bye".equals(message)) {
   
   
                // 如果发送的消息是"bye",则关闭连接并退出循环
                client.doDisConnect();
                break;
            }
            client.sendMsg(message);
        }

    }

    private void doDisConnect() {
   
   
        try {
   
   
            socketChannel.close();
        } catch (IOException e) {
   
   
            e.printStackTrace();
        }
    }

    private void sendMsg(String message) {
   
   
        // 发送消息到服务器
        ByteBuffer buffer = ByteBuffer.wrap(message.getBytes());
        try {
   
   
            socketChannel.write(buffer);

        } catch (IOException e) {
   
   
            e.printStackTrace();
        }
    }

    private void doConnect(String host, int port) {
   
   
        try {
   
   
            selector = Selector.open();
            // 创建SocketChannel并连接服务器
            socketChannel = SocketChannel.open();
            socketChannel.configureBlocking(false);
            socketChannel.connect(new InetSocketAddress(host, port));
            // 等待连接完成
            while (!socketChannel.finishConnect()) {
   
   
                // 连接未完成,可以做一些其他的事情
            }
            socketChannel.register(selector, SelectionKey.OP_READ);
            System.out.println("连接成功!");
            while (true) {
   
   
                // 等待事件触发,阻塞 | selectNow():非阻塞,立刻返回。
                selector.select();

                Iterator<SelectionKey> keys = selector.selectedKeys().iterator();
                while (keys.hasNext()) {
   
   
                    SelectionKey key = keys.next();
                    // 移除当前处理的SelectionKey
                    keys.remove();
                    if (key.isReadable()) {
   
   
                        // 处理读数据请求
                        handleRead(key);
                    }
                }
            }
        } catch (IOException e) {
   
   
            System.out.println("连接失败!!!");
            e.printStackTrace();
        }
    }

    private void handleRead(SelectionKey key) throws IOException {
   
   
        SocketChannel clientChannel = (SocketChannel) key.channel();
        ByteBuffer buffer = ByteBuffer.allocate(1024);
        int bytesRead = clientChannel.read(buffer);

        if (bytesRead == -1) {
   
   
            // 释放资源
            key.cancel();
            clientChannel.close();
            return;
        }

        byte[] data = new byte[bytesRead];
        buffer.flip();
        buffer.get(data);

        String message = new String(data).trim();
        System.out.println("Received message from server: " + message);
    }


}

总结

通过本文介绍,我们可以了解各个IO模型原理,并且对很多概念有了更清晰的认识,比如:
阻塞体现在:用户进程发起系统调用接口后,不论有无数据,是否直接响应结果?如果直接响应就是非阻塞,等待就是阻塞;
IO多路复用原理就是单个线程处理多个I/O操作,从而提高系统的效率和性能;
并且通过对IO多路复用的理解快速的入门了Java NIO 编程。

相关文章
|
3月前
|
JSON 移动开发 网络协议
Java网络编程:Socket通信与HTTP客户端
本文全面讲解Java网络编程,涵盖TCP与UDP协议区别、Socket编程、HTTP客户端开发及实战案例,助你掌握实时通信、文件传输、聊天应用等场景,附性能优化与面试高频问题解析。
|
1月前
|
JSON 网络协议 安全
【Java】(10)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
103 1
|
1月前
|
JSON 网络协议 安全
【Java基础】(1)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
111 1
|
1月前
|
机器学习/深度学习 分布式计算 Java
Java与图神经网络:构建企业级知识图谱与智能推理系统
图神经网络(GNN)作为处理非欧几里得数据的前沿技术,正成为企业知识管理和智能推理的核心引擎。本文深入探讨如何在Java生态中构建基于GNN的知识图谱系统,涵盖从图数据建模、GNN模型集成、分布式图计算到实时推理的全流程。通过具体的代码实现和架构设计,展示如何将先进的图神经网络技术融入传统Java企业应用,为构建下一代智能决策系统提供完整解决方案。
232 0
|
8月前
|
存储 网络协议 安全
Java网络编程,多线程,IO流综合小项目一一ChatBoxes
**项目介绍**:本项目实现了一个基于TCP协议的C/S架构控制台聊天室,支持局域网内多客户端同时聊天。用户需注册并登录,用户名唯一,密码格式为字母开头加纯数字。登录后可实时聊天,服务端负责验证用户信息并转发消息。 **项目亮点**: - **C/S架构**:客户端与服务端通过TCP连接通信。 - **多线程**:采用多线程处理多个客户端的并发请求,确保实时交互。 - **IO流**:使用BufferedReader和BufferedWriter进行数据传输,确保高效稳定的通信。 - **线程安全**:通过同步代码块和锁机制保证共享数据的安全性。
303 23
|
9月前
|
安全 网络协议 Java
Java网络编程封装
Java网络编程封装原理旨在隐藏底层通信细节,提供简洁、安全的高层接口。通过简化开发、提高安全性和增强可维护性,封装使开发者能更高效地进行网络应用开发。常见的封装层次包括套接字层(如Socket和ServerSocket类),以及更高层次的HTTP请求封装(如RestTemplate)。示例代码展示了如何使用RestTemplate简化HTTP请求的发送与处理,确保代码清晰易维护。
|
9月前
|
缓存 网络协议 Java
JAVA网络IO之NIO/BIO
本文介绍了Java网络编程的基础与历史演进,重点阐述了IO和Socket的概念。Java的IO分为设备和接口两部分,通过流、字节、字符等方式实现与外部的交互。
265 0
|
存储 Java
【IO面试题 四】、介绍一下Java的序列化与反序列化
Java的序列化与反序列化允许对象通过实现Serializable接口转换成字节序列并存储或传输,之后可以通过ObjectInputStream和ObjectOutputStream的方法将这些字节序列恢复成对象。
|
1月前
|
Java Unix Go
【Java】(8)Stream流、文件File相关操作,IO的含义与运用
Java 为 I/O 提供了强大的而灵活的支持,使其更广泛地应用到文件传输和网络编程中。!但本节讲述最基本的和流与 I/O 相关的功能。我们将通过一个个例子来学习这些功能。
130 1
|
Java 大数据
解析Java中的NIO与传统IO的区别与应用
解析Java中的NIO与传统IO的区别与应用