Netty，IO模型

jicky · Feb 11, 2020 · 57fa2de · 57fa2de
1 parent 49b7bef
commit 57fa2de
Show file tree

Hide file tree

Showing 15 changed files with 523 additions and 447 deletions.
diff --git a/README.md b/README.md
@@ -83,11 +83,29 @@
 
 
 ## Netty
-### IO
-- [把被说烂的 BIO、NIO、AIO 再从头到尾扯一遍](docs/Netty/IO/把被说烂的BIO、NIO、AIO再从头到尾扯一遍.md)
+### 网络 IO 技术基础
+- [把被说烂的 BIO、NIO、AIO 再从头到尾扯一遍](docs/Netty/IOTechnologyBase/把被说烂的BIO、NIO、AIO再从头到尾扯一遍.md)
+- [IO模型](docs/Netty/IOTechnologyBase/IO模型.md)
+- [四种IO编程及对比](docs/Netty/IOTechnologyBase/四种IO编程及对比.md)
 
-### 设计原理
-- 努力编写中...
+### Netty NIO开发指南
+- [TCP粘包/拆包问题的解决之道]()
+- [分隔符解码器 和 定长解码器]()
+
+### Netty 编解码开发指南
+- [编解码技术]()
+
+### Netty 多协议开发和应用
+- [WebSocket 协议开发]()
+
+### Netty 源码分析
+- [Channel和Unsafe组件]()
+- [ChannelPipeline和ChannelHandler组件]()
+- [EventLoop和EventLoopGroup组件]()
+
+### Netty高级特性
+- [Java多线程编程在Netty中的应用]()
+- [Netty的高性能之道]()
 
 ## Redis
 - 努力编写中...

diff --git a/docs/Mybatis/基础支持层/1、反射工具箱和TypeHandler系列.md b/docs/Mybatis/基础支持层/1、反射工具箱和TypeHandler系列.md
diff --git a/docs/Mybatis/基础支持层/2、DataSource及Transaction模块.md b/docs/Mybatis/基础支持层/2、DataSource及Transaction模块.md
diff --git a/docs/Mybatis/基础支持层/3、binding模块.md b/docs/Mybatis/基础支持层/3、binding模块.md
diff --git a/docs/Mybatis/基础支持层/4、缓存模块.md b/docs/Mybatis/基础支持层/4、缓存模块.md
diff --git a/docs/Mybatis/核心处理层/1、MyBatis初始化.md b/docs/Mybatis/核心处理层/1、MyBatis初始化.md
diff --git a/docs/Netty/IO/NIO原理详解.md b/docs/Netty/IO/NIO原理详解.md
diff --git a/docs/Netty/IOTechnologyBase/IO模型.md b/docs/Netty/IOTechnologyBase/IO模型.md
@@ -0,0 +1,54 @@
+## Linux 网络 IO 模型简介
+Linux 的内核将所有外部设备都看做一个文件来操作，对一个文件的读写操作会调用内核提供的系统命令，返回一个fd (file descriptor，文件描述符)。而对一个 socket 的读写也会有相应的描述符，称为 socket fd (socket 描述符)，描述符就是一个数字，它指向内核中的一个结构体(文件路径，数据区等一些属性)。根据UNIX网络编程对 I/O模型 的分类，UNIX 提供了5种 I/O模型，分别如下。
+
+#### 1、阻塞IO模型
+在内核将数据准备好之前，系统调用会一直等待所有的套接字（Socket）传来数据，默认的是阻塞方式。
+
+![avatar](/images/Netty/阻塞IO模型.png)
+
+Java 中的 socket.read()方法 最终会调用底层操作系统的 recvfrom方法，OS 会判断来自网络的数据报是否准备好，当数据报准备好了之后，OS 就会将数据从内核空间拷贝到用户空间（因为我们的用户程序只能获取用户空间的内存，无法直接获取内核空间的内存）。拷贝完成之后 socket.read() 就会解除阻塞，并得到网络数据的结果。
+
+BIO中的阻塞，就是阻塞在2个地方：
+1. OS 等待数据报通过网络发送过来，如果建立连接后数据一直没过来，就会白白浪费线程的资源；
+2. 将数据从内核空间拷贝到用户空间。
+
+在这2个时候，我们的线程会一直被阻塞，啥事情都不干。
+#### 2、非阻塞IO模型
+
+![avatar](/images/Netty/非阻塞IO模型.png)
+
+每次应用程序询问内核是否有数据报准备好，当有数据报准备好时，就进行拷贝数据报的操作，从内核拷贝到用户空间，和拷贝完成返回的这段时间，应用进程是阻塞的。但在没有数据报准备好时，并不会阻塞程序，内核直接返回未准备好的信号，等待应用进程的下一次询问。但是，轮寻对于CPU来说是较大的浪费，一般只有在特定的场景下才使用。
+
+从图中可以看到，非阻塞IO 的 recvfrom调用 会立即得到一个返回结果(数据报是否准备好)，我们可以根据返回结果继续执行不同的逻辑。而阻塞IO 的recvfrom调用，如果无数据报准备好，一定会被阻塞住。虽然 非阻塞IO 比 阻塞IO 少了一段阻塞的过程，但事实上 非阻塞IO 这种方式也是低效的，因为我们不得不使用轮询方法区一直问 OS：“我的数据好了没啊”。
+
+**BIO 不会在 拷贝数据之前 阻塞，但会在将数据从内核空间拷贝到用户空间时阻塞。一定要注意这个地方，Non-Blocking 还是会阻塞的。**
+#### 3、IO复用模型
+Linux 提供 select/poll，进程通过将一个或多个 fd 传递给 select 或 poll系统 调用，阻塞发生在 select/poll 操作上。select/poll 可以帮我们侦测多个 fd 是否处于就绪状态，它们顺序扫描 fd 是否就绪，但支持的 fd 数量有限，因此它的使用也受到了一些制约。Linux 还提供了一个 epoll系统调用，epoll 使用 基于事件驱动方式 代替 顺序扫描，因此性能更高，当有 fd 就绪时，立即回调函数 rollback。
+
+![avatar](/images/Netty/IO复用模型.png)
+
+#### 4、信号驱动IO模型
+首先开启套接口信号驱动IO功能，并通过系统调用 sigaction 执行一个信号处理函数（此系统调用立即返回，进程继续工作，它是非阻塞的）。当数据准备就绪时，就为该进程生成一个 SIGIO信号，通过信号回调通知应用程序调用 recvfrom 来读取数据，并通知主循环函数处理数据。
+
+![avatar](/images/Netty/信号驱动IO模型.png)
+
+#### 5、异步IO模型
+告知内核启动某个操作，并让内核在整个操作完成后(包括将数据从内核复制到用户自己的缓冲区)通知我们。这种模型与信号驱动模型的主要区别是：信号驱动IO 由内核通知我们何时可以开始一个 IO 操作；异步IO模型 由内核通知我们 IO操作何时已经完成。
+
+![avatar](/images/Netty/异步IO模型.png)
+
+从这五种 IO模型的结构 也可以看出，阻塞程度：阻塞IO>非阻塞IO>多路转接IO>信号驱动IO>异步IO，效率是由低到高的。
+
+## IO 多路复用技术
+Java NIO 的核心类库中 多路复用器Selector 就是基于 epoll 的多路复用技术实现。
+
+在 IO编程 过程中，当需要同时处理多个客户端接入请求时，可以利用多线程或者 IO多路复用技术 进行处理。IO多路复用技术 通过把多个 IO 的阻塞复用到同一个 select 的阻塞上，从而使得系统在单线程的情况下可以同时处理多个客户端请求。与传统的多线程/多进程模型比，IO多路复用 的最大优势是系统开销小，系统不需要创建新的额外进程或线程，也不需要维护这些进程和线程的运行，降低了系统的维护工作量，节省了系统资源，IO多路复用 的主要应用场景如下。
+- 服务器需要同时处理多个处于监听状态或者多个连接状态的套接字;
+- 服务器需要同时处理多种网络协议的套接字。
+
+目前支持 IO多路复用 的系统调用有 select、pselect、poll、epoll，在 Linux网络编程 过程中，很长一段时间都使用 select 做轮询和网络事件通知，然而 select 的一些固有缺陷导致了它的应用受到了很大的限制，最终 Linux 选择了 epoll。epoll 与 select 的原理比较类似，为了克服 select 的缺点，epoll 作了很多重大改进，现总结如下。
+1. 支持一个进程打开的 socket描述符 (fd) 不受限制(仅受限于操作系统的最大文件句柄数)；
+2. IO效率 不会随着 FD 数目的增加而线性下降；
+3. epoll的API更加简单。
+
+值得说明的是，用来克服 select/poll 缺点的方法不只有 epoll, epoll 只是一种 Linux 的实现方案。
diff --git a/docs/Netty/IOTechnologyBase/四种IO编程及对比.md b/docs/Netty/IOTechnologyBase/四种IO编程及对比.md
@@ -0,0 +1 @@
+努力更新中...
diff --git a/docs/Netty/IO/把被说烂的BIO、NIO、AIO再从头到尾扯一遍.md → ...echnologyBase/把被说烂的BIO、NIO、AIO再从头到尾扯一遍.md b/docs/Netty/IO/把被说烂的BIO、NIO、AIO再从头到尾扯一遍.md → ...echnologyBase/把被说烂的BIO、NIO、AIO再从头到尾扯一遍.md
diff --git a/images/Netty/IO复用模型.png b/images/Netty/IO复用模型.png
diff --git a/images/Netty/信号驱动IO模型.png b/images/Netty/信号驱动IO模型.png
diff --git a/images/Netty/异步IO模型.png b/images/Netty/异步IO模型.png
diff --git a/images/Netty/阻塞IO模型.png b/images/Netty/阻塞IO模型.png
diff --git a/images/Netty/非阻塞IO模型.png b/images/Netty/非阻塞IO模型.png