Web 服务架构与 I/O 模型实战指南

3.2 阻塞与非阻塞

• 阻塞：IO 操作完全完成后才返回，调用者挂起，无法执行其他操作。
• 非阻塞：IO 操作调用后立即返回状态值，无需等待完成，调用者可继续执行其他任务。

四、网络 I/O 模型详解

4.1 阻塞型 I/O (blocking IO)

这是最基础的模型。用户线程发起 read 系统调用后，内核等待数据包到达并拷贝到用户空间，期间线程全程阻塞。

• 特点：程序简单，但 CPU 利用率低。
• 场景：Apache prefork 模式。

4.2 非阻塞型 I/O (nonblocking IO)

用户线程发起请求后立即返回（若无数据），需不断轮询直到数据就绪。

• 痛点：大量文件描述符需逐个轮询，上下文切换频繁，且轮询时间难以把控。
• 现状：实际极少单独使用，常配合多路复用技术。

4.3 信号驱动式 I/O (signal-driven IO)

通过 sigaction 注册信号处理回调函数。内核数据就绪时发送 SIGIO 信号触发回调。

• 优点：等待数据时进程不阻塞。
• 缺点：大量 IO 操作时可能因信号队列溢出导致通知失效。

4.4 异步 I/O (asynchronous IO)

这是 POSIX 标准定义的真正异步。内核完成数据准备和拷贝后，主动通知用户进程。

• 区别：信号驱动是通知'开始 IO'，异步 IO 是通知'IO 完成'。
• 现状：Linux 2.6 引入，但实现复杂，常用 libevent/libuv 等库封装。

4.5 多路复用 I/O (I/O multiplexing)

单个线程监控多个文件描述符，通过 select/poll/epoll 实现。内核轮询所有注册的 socket，数据就绪时通知用户进程。

• 流程：用户注册 IO -> 阻塞等待 select 返回 -> 调用 read 读取数据。
• 价值：虽阻塞在 select 上，但可同时监控多个 IO，相比单线程单 IO 效率大幅提升。
• 注意：NIO（非阻塞 IO）需与多路复用配合才有意义，仅用多路复用 + BIO 仍会阻塞。

4.6 五种模型对比

注：前四种均为同步 IO（recvfrom 会阻塞），仅异步 IO 符合 POSIX 异步定义。

五、零拷贝技术

5.1 传统 Linux I/O 瓶颈

标准 IO 接口（read/write）依赖数据拷贝，频繁的用户态/内核态切换加上数据拷贝消耗了大量 CPU。数据显示，数据拷贝时间占数据包处理总时间的 57.1%。

5.2 核心思想

并非真正的'0 拷贝'，而是通过优化减少拷贝次数。核心技术包括 MMAP（内存映射）和 SENDMSG/SENDFILE。

5.3 MMAP (Memory Mapping)

将文件磁盘地址与进程虚拟地址空间映射，进程可直接操作内存，无需 read/write 系统调用。这减少了内核态到用户态的一次拷贝，适用于大量数据传输场景。

六、Nginx 实战操作

6.1 源码编译安装

编译安装能让我们更灵活地控制模块和功能。

下载解压

# 下载软件包
wget https://nginx.org/download/nginx-1.28.1.tar.gz

# 解压并进入目录
tar zxf nginx-1.28.1.tar.gz
cd nginx-1.28.1/
ls

环境准备与配置 需要安装 gcc、openssl 等依赖，并配置编译参数以启用 SSL、gzip 等模块。

# 安装依赖
dnf install gcc openssl-devel.x86_64 pcre2-devel.x86_64 zlib-devel -y

# 配置编译参数
./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_ssl_module \
--with-http_v2_module \
--with-http_realip_module \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--with-pcre \
--with-stream \
--with-stream_ssl_module \
--with-stream_realip_module

编译安装

make
make install

启动配置 设置环境变量，创建专用用户，并验证启动。

# 设置环境变量
export PATH=$PATH:/usr/local/nginx/sbin
source ~/.bash_profile

# 创建 nginx 用户
useradd -s /sbin/nologin -M nginx

# 启动 nginx
nginx
ps aux | grep nginx

# 测试访问
echo timinglee > /usr/local/nginx/html/index.html
curl 172.25.254.100

编写 systemd 启动文件 为了便于管理，建议配置 systemd 服务。

[Unit]
Description=The NGINX HTTP and reverse proxy server
After=syslog.target network-online.target remote-fs.target nss-lookup.target
Wants=network-online.target

[Service]
Type=forking
ExecStartPre=/usr/local/nginx/sbin/nginx -t
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/local/nginx/sbin/nginx -s reload
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true

[Install]
WantedBy=multi-user.target

配置完成后重载并启动：

systemctl daemon-reload
systemctl enable --now nginx
systemctl status nginx.service

6.2 平滑升级及回滚

Nginx 支持不停机升级，关键在于信号的使用。

下载高版本并编译

wget https://nginx.org/download/nginx-1.29.4.tar.gz
tar zxf nginx-1.29.4.tar.gz
cd nginx-1.29.4/src/core/
vim nginx.h
# 修改版本号信息，例如隐藏真实版本
#define nginx_version     1029004
#define NGINX_VERSION     ""
#define NGINX_VER         "TIMINGLEE/" NGINX_VERSION
cd ../../
./configure [同上旧版本参数]
make # 仅编译，不安装

平滑升级 替换二进制文件后，通过信号通知 master 进程。

# 替换二进制文件
cp -f objs/nginx /usr/local/nginx/sbin/nginx

# 查看旧 master 进程 ID
ps aux | grep nginx

# 发送 USR2 信号启动新 master 进程
kill -USR2 <old_master_pid>

# 此时会有两个 master 进程，验证新版本
nginx -V

# 回收旧版本 worker 进程
kill -WINCH <old_master_pid>

版本回滚 若新版本有问题，可快速回滚。

# 备份新版本
mv nginx nginx.new

# 恢复旧版本
cp nginx.old nginx -pf

# 发送 HUP 信号重启旧 master 进程
kill -HUP <master_pid>

# 回收新版本 master 进程
kill -WINCH <new_master_pid>

6.3 Nginx 配置优化

生产环境需要根据实际情况调整配置。

基础用户配置 指定运行用户，避免 root 权限风险。

user nginx;

工作进程优化 推荐设置为 auto，自动匹配 CPU 核心数。也可手动绑定 CPU 核心以减少上下文切换。

worker_processes auto;
worker_cpu_affinity 0001 0010 0100 1000; # 4 核心示例

事件模块优化 在高并发场景下，必须使用 epoll 模型，并防止惊群效应。

events {
    worker_connections 10000;
    use epoll;
    accept_mutex on;
    multi_accept on;
}

系统文件句柄限制 高并发测试时容易遇到 Too many open files 错误，需修改系统限制。

# 修改 limits.conf
vim /etc/security/limits.conf
*               -       nofile          100000
*               -       noproc          100000
root            -       nofile          100000

# 验证生效
sudo -u nginx ulimit -n 100000

总结

Web 服务选型中，Apache 胜在稳定，Nginx 强在并发。I/O 模型的选择直接决定了系统的吞吐量上限，其中多路复用（epoll）是目前高并发的主流方案。零拷贝技术能有效降低 CPU 开销。而在 Nginx 实战中，源码编译、平滑升级以及针对 CPU 和句柄的配置优化，是构建高性能服务端的关键步骤。