【后端面经-Java】I/O多路复用 简录

端面,java,多路复用 · 浏览次数 : 75

小编点评

**目录 0. Java 线程IO模型** **1. BIO2. NIO3. I/O多路复用(主要)** **1.1 概念** BIO(Blocking I/O)是一种阻塞式的 I/O模型,当一个线程需要进行 I/O 操作时,会阻塞地等待直到操作完成才继续执行后续操作。 NIO(No Blocking I/O)是一种同步非阻塞的 I/O模型,相对于 BIO,NIO允许一个线程在 I/O 操作时处理其他任务,但需要定期轮询检查 I/O 操作是否完成。 **1.2 实现** * **select**函数:监听多个 I/O 事件,并根据事件类型创建三个文件描述符数组,阻塞线程进行监听。 * **poll**函数:只监听一个 I/O 事件,并将数组遍历以处理所有触发事件的文件描述符。 * **epoll**:使用 epoll 引用的多路复用机制,允许一个线程同时监听多个 I/O 事件。 **2. 面试模拟参考资料** **Q:IO多路复用是什么意思?** A:IO多路复用指的是一个线程管理多个 I/O 连接,监听多个 I/O 事件。 **Q:NIO的具体含义是什么?** A:NIO一般理解为 Not Blocking IO,即非阻塞IO,和传统的 BIO(阻塞IO)相比,NIO模型中,一个线程在IO操作的时候可以处理其他任务,定期轮询检查IO操作是否完成。 **Q:基于什么实现的 I/O多路复用?** A:传统的实现方式包括 select、poll,但是这两类方法都需要遍历数组,效率较低,为此不同的操作系统提出了不同的改进方案,例如 solaris提出了 /dev/poll,FreeBSD 了 kqueue,Linux 了 epoll,而 epoll相比于 select、poll 的主要区别就是返回的事件列表只包括触发事件的文件描述符,而不是全部监听事件的文件描述符,改进了数组遍历这一监听方式。

正文

0. Java 线程IO模型

Java当中的线程I/O模型如图所示:

1. BIO

当一个线程进行I/O操作的时候,传统的做法是阻塞等待,直到I/O操作完成再继续后续的操作,这种IO方式就是BIO(Blocking I/O)。

BIO方式的缺点是:

  • 大量并发线程的场景下效率过低;
  • 空等待浪费资源;

2. NIO

JDK1.4引入了NIO(No Blocking I/O或者是New I/O)。NIO是一种同步非阻塞的I/O模型,相对于BIO,NIO允许一个线程在I/O操作的时候处理其他任务,但是需要定期轮询检查I/O操作是否完成。
NIO的缺点在于:

  • 轮询的时间间隔不好把握;
  • 一个线程处理一个I/O操作,如果存在大量I/O,处理其他任务和轮询操作反复切换状态,上下文切换开销大;

3. I/O多路复用(主要)

3.1 概念

为了解决NIO的缺点,Linux引入了I/O多路复用的机制,即一个线程可以同时监听多个I/O操作,当某个I/O操作完成后,会通知线程进行处理。
多路指的是多个SOCKET连接之间的I/O操作,复用指的是共用一个线程。
I/O多路复用的优点在于:

  • 一个线程可以同时监听多个I/O操作,减少了线程的数量,避免了线程切换的开销;

需要注意的是,I/O多路复用只有和NIO配合使用才能发挥作用,因为NIO是非阻塞的,所以可以在一个线程中同时监听多个I/O操作,而BIO是阻塞的,一个线程只能处理一个I/O操作,所以无法实现I/O多路复用。

3.2 实现

I/O多路复用的实现思路:
对于多个socket连接,程序提供一个文件描述符集合给系统,当某个接口的I/O操作完成后,会通知线程进行处理。

实现I/O多路复用的方式有三种:selectpollepoll

1. select

函数原型如下所示:

int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
  • nfds:文件描述符的数量,即文件描述符集合中最大的文件描述符加1;
  • readfds:读文件描述符集合;
  • writefds:写文件描述符集合;
  • exceptfds:异常文件描述符集合;
  • timeout:超时时间;

从参数可以看出来select方式监听读、写、异常事件。

select根据监听的事件类型分别创建三个文件描述符数组,然后在timeout时间内阻塞线程进行监听,直到有事件发生或者超时。之后检查数组中是否有事件到达。
select的缺点在于:

  • 文件描述符数组大小有限,为1024,因此对于高并发场景并不适用;
  • 维持三个文件描述符数组,占据大量的内存空间;
  • 每次调用select需要将数组从用户空间拷贝到内核空间,同时重新对数组进行遍历查找,效率低;

2. poll

函数原型如下所示:

int poll(struct pollfd *fds, nfds_t nfds, int timeout);
  • fds:文件描述符数组;
  • ndfs:文件描述符数组的大小;
  • timeout:超时时间;

本质的工作过程和select类似,但是稍微做了改进,只需要构建一个数组,并且数组大小不受限制,而是能够自由指定;
poll的缺点在于:

  • 每次调用poll之后都需要进行数组遍历,这一点并没有改进

3. epoll

为了解决selectpoll的缺点,在高并发场景下,不同的操作系统引入了不同的解决方案,例如Linux引入了epoll、FreeBSD引入了kqueue、Solaris引入了/dev/poll
epoll实现I/O多路复用,步骤如下:

  1. 先创建epoll对象:
int epfd = epoll_create(10);

其中,int epoll_create(int size)会在内核空间开辟一块指定大小的数据表,并由epfd指向这部分内存。
2. 创建好epoll对象之后,使用epoll_ctl将注册需要监听的事件:

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
  • epfd是创建数组之后的内存指针;
  • op是操作类型,包括三种模式:
    • EPOLL_CTL_ADD:添加需要监听的事件;
    • EPOLL_CTL_MOD:修改需要监听的事件;
    • EPOLL_CTL_DEL:删除需要监听的事件;
  • fd是需要监听的文件描述符,需要支持NIO;
  • event记录了注册事件的具体信息。数据结构如下所示:
typedef union epoll_data {
    void    *ptr;
    int      fd;
    uint32_t u32;
    uint64_t u64;
} epoll_data_t;

struct epoll_event {
    uint32_t     events;    /* Epoll events */
    epoll_data_t data;      /* User data variable */
};
  1. 使用epoll_wait进行监听:
    epoll_wait函数原型如下所示:
int epoll_wait(int epfd, struct epoll_event *evlist, int maxevents, int timeout);
  • epfd是创建数组之后的内存指针;
  • evlist是用于存放事件的数组,也是返回的结果数组,包含被触发事件的对应文件描述符;
    • 这里显示了和selectpoll的区别,selectpoll会返回所有文件描述符然后遍历,而epoll只会返回被触发事件的文件描述符;
  • maxevents是监听事件的最大容量;
  • timeout是超时时间;
    监听步骤是block的,也就是阻塞的,只有超时才会返回;

epoll的优点在于:

  • 只返回触发事件的文件描述符,避免了整个数组的遍历;
  • 支持水平触发(Level Trigger)和边缘触发(Edge Trigger)两种模式;
    • 对于水平触发和边缘触发,具体解释可参考这篇博客

4. AIO

AIO(Asynchronous I/O),即异步非阻塞I/O模型,AIO的实现方式是基于事件和回调机制的,当一个I/O操作完成后,会通知线程进行处理,因此不需要轮询操作。

AIO和NIO的区别在于:

  • NIO:线程需要定时检查I/O操作是否完成;
  • AIO:安心去做其他事情,等到通知之后才会进行处理;

5. 技术对比

5.1 BIO、NIO、I/O多路复用、AIO对比

5.2 selectpollepoll对比

6. 面试模拟

Q:IO多路复用是什么意思?
A:IO多路复用指的是一个线程管理多个IO连接,监听多个IO事件;

Q:NIO的具体含义
A:NIO一般理解为Not Blocking IO,即非阻塞IO,和传统的BIO(阻塞IO)相比,NIO模型中,一个线程在IO操作的时候可以处理其他任务,定期轮询检查IO操作是否完成

Q:基于什么实现的I/O多路复用?
A:传统的实现方式包括selectpoll,但是这两类方法都需要遍历数组,效率较低,为此不同的操作系统提出了不同的改进方案,例如solaris提出了/dev/poll,FreeBSD提出了kqueue,Linux提出了epoll,而epoll相比于selectpoll的主要区别就是返回的事件列表只包括触发事件的文件描述符,而不是全部监听事件的文件描述符,改进了数组遍历这一监听方式。

参考资料

  1. 一文彻底理解Java IO模型(阻塞IO非阻塞IO/IO多路复用)
  2. IO多路复用机制详解
  3. 讲讲BIO和NIO以及IO多路复用

与【后端面经-Java】I/O多路复用 简录相似的内容:

【后端面经-Java】I/O多路复用 简录

本文主要介绍了Java当中常见的几种IO模型,介绍其运行机制和实际缺点,并进行技术对比,对于IO多路复用的实现方式进行分析。

【后端面经-Java】Java创建线程的方法简介

本文简要介绍了java中创建线程的四种方式,并介绍了线程概念,适合新手阅读。

【后端面经-java】java线程池满的处理策略

本文对java线程池做了具体介绍,并且讨论了java线程池满了之后的拒绝策略。

【后端面经-Java】HashMap详解

本文详细介绍了hashmap,包括基本概念、hashmap数据结构、关键变量和重要方法,并且结合源码进行分析。

【后端面经-Java】Synchronize和ReentrantLock区别

本文介绍了Synchronize和ReentrantLock同步锁的相似和不同点,并指出两者的主要特点和适用场景。

【后端面经-Java】AQS详解

本文介绍了AQS的核心思想、基本架构、实现方法,并对框架中的重要源码方法进行介绍和分析

【后端面经-Java】公平锁和加锁流程

本文主要介绍了公平锁和非公平锁的概念和区别,并且结合Reentranslock锁的源码对加锁机制进行分析。

【后端面经-Java】JVM内存分区详解

本文主要介绍了JVM内存分区的基本情况,着重介绍了栈、堆、方法区的分区情况,并给出实际代码解释内存分配的过程。

【后端面经-Java】JVM垃圾回收机制

本文对JVM垃圾回收机制做了详细解释,从"where"、"which"、"when"、"why"、"how"、"who"的角度,重点介绍JVM垃圾回收机制的触发机制、垃圾判断算法、垃圾回收算法和垃圾回收机制。

【后端面经-Java】String与StringBuffer与StringBuilder的比较

本文从String、StringBuffer、StringBuilder三者的特性出发,详细介绍三者的不同之处。