Web 服务架构与网络 I/O 模型详解

三、I/O 模型核心概念

同步 / 异步（消息通信机制）

• 同步（synchronous）：被调用者不主动通知处理结果，需调用者主动查询。
• 异步（asynchronous）：被调用者通过状态、通知或回调主动告知调用者运行状态。

阻塞 / 非阻塞（等待结果时的状态）

• 阻塞（blocking）：IO 操作完全完成后才返回用户空间，调用者挂起，无法执行其他操作。
• 非阻塞（nonblocking）：IO 操作调用后立即返回状态值，无需等待完成，调用者不挂起，可执行其他操作。

四、五大网络 I/O 模型

1. 阻塞型 I/O 模型（blocking IO）

• 核心流程：
  1. 用户线程通过 read 系统调用发起 I/O 读操作，从用户态切换到内核态。
  2. 内核等待数据包到达后，将数据拷贝到用户空间。
  3. 用户线程需等待 read 完成后才能处理数据。
• 特征：用户线程全程阻塞，CPU 利用率低。
• 优缺点：程序简单，阻塞期间进程/线程挂起，基本不占用 CPU；但每个连接需独立进程/线程，高并发时内存、线程切换开销大。
• 应用场景：Apache prefork 模式。

2. 非阻塞型 I/O 模型（nonblocking IO）

• 核心流程：用户线程发起 IO 请求后立即返回（无数据），需不断轮询发起 IO 请求，直到数据到达后读取。
• 核心问题：大量文件描述符需逐个轮询，上下文切换频繁；轮询时间难把控（过长响应慢，过短耗 CPU）。
• 优缺点：调用者不阻塞，可执行其他操作；但轮询耗 CPU，实际极少单独使用。
• 机制：无数据时内核返回 EWOULDBLOCK 错误，数据就绪后拷贝到进程缓冲区。

3. 信号驱动式 I/O 模型（signal-driven IO）

• 核心流程：
  1. 通过 sigaction 系统调用注册信号处理回调函数，调用立即返回，主程序继续执行。
  2. 内核数据就绪时发送 SIGIO 信号，触发回调函数。
  3. 回调函数中调用 recvfrom 将数据从内核拷贝到用户空间。
• 优缺点：等待数据时进程不阻塞，资源利用率高；但大量 IO 操作时可能因信号队列溢出导致通知失效。

4. 异步 I/O 模型（asynchronous IO）

• 核心区别：信号驱动是通知'开始 IO'，异步 IO 是通知'IO 完成'。
• 核心流程：
  1. 用户进程调用 aio_read 后立即返回，可执行其他操作。
  2. 内核完成数据准备 + 拷贝后，主动通知用户进程。
• 特征：IO 两个阶段（准备 + 拷贝）进程均非阻塞。
• 优缺点：充分利用 DMA 特性，IO 与计算重叠；但操作系统实现复杂，Linux 2.6 才引入，AIO 不完善（常用 libevent/libev/libuv 等开源库）。
• 应用场景：异步非阻塞是最常用的通信方式（进程和内核均不阻塞，相互不影响）。

5. 多路复用 I/O 模型（I/O multiplexing）

• 核心原理：单个线程监控/处理多个文件描述符的 IO（复用线程），通过内核的 select/poll/epoll 系统调用实现。
• 核心流程：
  1. 用户将 IO 操作注册到 select，等待其返回。
  2. 数据就绪后 select 返回，用户线程调用 read 读取数据。
  3. 阻塞发生在 select 调用上，而非实际 IO 操作。
• 关键说明：
  • Apache prefork 用 select，worker 用 poll。
  • NIO（非阻塞 IO）需与 IO 多路复用配合才有实际意义（仅用多路复用 + BIO 仍会阻塞）。
  • 虽阻塞在 select，但可同时监控多个 IO，相比单线程单 IO 更高效。
• 优缺点：基于一个阻塞对象监控多个描述符，节省系统资源；但连接数少时效率低于'多线程 + 阻塞 IO'，单个连接需 2 次系统调用。
• 适用场景：客户端处理多个描述符、服务器同时处理监听套接字 + 已连接套接字、TCP+UDP 混合服务等。

注：前四种均为同步 IO（recvfrom 会阻塞），仅异步 IO 符合 POSIX 异步定义。

五、零拷贝技术

传统 Linux I/O 问题

标准 IO 接口（read/write）基于数据拷贝，频繁的用户态/内核态切换 + 数据拷贝消耗大量 CPU。数据显示，数据拷贝时间占数据包处理总时间的 57.1%。

零拷贝核心思想

并非真正'0 拷贝'，而是通过优化减少拷贝操作，降低 CPU 压力。核心技术包括 MMAP（内存映射）、SENDMSG/SENDFILE。

MMAP（Memory Mapping）

• 原理：将文件磁盘地址与进程虚拟地址空间映射，进程可直接操作内存（无需 read/write）。
• 优势：减少内核态→用户态的一次拷贝（传统 read 需拷贝，MMAP 直接访问页缓存）。
• 适用场景：大量数据传输。

六、Nginx 实战操作

源码编译安装

1. 下载解压

# 下载软件包
wget https://nginx.org/download/nginx-1.28.1.tar.gz

# 解压
tar zxf nginx-1.28.1.tar.gz
cd nginx-1.28.1/
ls # 验证解压结果

2. 环境准备与配置

# 安装依赖
dnf install gcc openssl-devel.x86_64 pcre2-devel.x86_64 zlib-devel -y

# 配置编译参数
./configure \
  --prefix=/usr/local/nginx \
  --user=nginx \
  --group=nginx \
  --with-http_ssl_module \
  --with-http_v2_module \
  --with-http_realip_module \
  --with-http_stub_status_module \
  --with-http_gzip_static_module \
  --with-pcre \
  --with-stream \
  --with-stream_ssl_module \
  --with-stream_realip_module

3. 编译安装

make
make install

4. 启动配置

# 设置环境变量
vim ~/.bash_profile
export PATH=$PATH:/usr/local/nginx/sbin
source ~/.bash_profile

# 创建 nginx 用户
useradd -s /sbin/nologin -M nginx

# 启动 nginx
nginx
ps aux | grep nginx # 验证启动

# 测试访问
echo "hello world" > /usr/local/nginx/html/index.html
curl 172.25.254.100

5. 编写 systemd 启动文件

vim /lib/systemd/system/nginx.service
[Unit]
Description=The NGINX HTTP and reverse proxy server
After=syslog.target network-online.target remote-fs.target nss-lookup.target
Wants=network-online.target

[Service]
Type=forking
ExecStartPre=/usr/local/nginx/sbin/nginx -t
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/local/nginx/sbin/nginx -s reload
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true

[Install]
WantedBy=multi-user.target

# 重载配置并启动
systemctl daemon-reload
systemctl enable --now nginx
systemctl status nginx.service

平滑升级及回滚

1. 下载高版本并编译

# 下载高版本
wget https://nginx.org/download/nginx-1.29.4.tar.gz
tar zxf nginx-1.29.4.tar.gz
cd nginx-1.29.4/src/core/

# 修改版本信息（隐藏版本）
vim nginx.h
#define nginx_version     1029004
#define NGINX_VERSION     ""
#define NGINX_VER         "NGINX/" NGINX_VERSION

cd ../../
./configure [同上参数]
make # 仅编译，不安装

2. 平滑升级

# 替换二进制文件
cd objs/
cp -f nginx /usr/local/nginx/sbin/nginx

# 查看旧 master 进程 ID
ps aux | grep nginx

# 发送 USR2 信号启动新 master 进程
kill -USR2 <old_master_pid>

# 验证双 master 进程
ps aux | grep nginx

# 验证版本
nginx -V

# 回收旧版本 worker 进程
kill -WINCH <old_master_pid>

3. 版本回滚

# 备份新版本二进制文件
cp nginx nginx.new -p

# 恢复旧版本二进制文件（需提前备份）
cp nginx.old nginx -pf

# 发送 HUP 信号重启旧 master 进程
kill -HUP <master_pid>

# 验证回滚结果
nginx -V

# 回收新版本 master 进程
kill -WINCH <new_master_pid>

配置优化

基础用户配置

vim /usr/local/nginx/conf/nginx.conf
user nginx; # 指定运行用户
nginx -t
nginx -s reload

工作进程优化

# 手动设置进程数
worker_processes 2;

# 自动适配 CPU（推荐）
worker_processes auto;
worker_cpu_affinity 0001 0010 0100 1000; # 进程绑定 CPU 核心（4 核心示例）

# 验证绑定结果
ps axo pid,cmd,psr | grep nginx

事件模块优化

vim /usr/local/nginx/conf/nginx.conf
events {
  worker_connections 10000; # 单个进程最大连接数
  use epoll; # 使用 epoll 事件模型
  accept_mutex on; # 防止惊群效应
  multi_accept on; # 一次性接受所有新连接
}
nginx -s reload

系统文件句柄限制

# 报错场景：ab 测试时提示 "socket: Too many open files (24)"
ab -n 100000 -c5000 http://172.25.254.100/index.html

# 修改系统限制
vim /etc/security/limits.conf
*               -       nofile          100000
*               -       noproc          100000
root            -       nofile          100000

# 验证生效
sudo -u nginx ulimit -n 100000

# 重新测试高并发
ab -n 100000 -c10000 http://172.25.254.100/index.html

总结

1. Web 服务核心：Apache 稳定但并发弱（prefork/worker/event 三种模型），Nginx 高性能高并发，是互联网场景首选。
2. I/O 模型关键：同步/异步关注'通知机制'，阻塞/非阻塞关注'等待状态'；多路复用（epoll）是高并发主流方案，异步 IO 性能最优但实现复杂。
3. Nginx 实战重点：源码编译需匹配依赖，平滑升级通过信号（USR2/WINCH）实现无停机更新，配置优化核心是进程数、CPU 绑定、连接数和文件句柄限制。