分布式 Redis 集群架构设计与生产级部署

客观下线（Fail）：节点 A 通过 Gossip 协议将 PFail 广播给其他节点，若多数节点确认 B 不可达，则标记 B 为 Fail。

2、故障转移

1）故障检测：超过半数主节点确认某主节点下线

2）满足条件的 Replica 选举：

基于 Raft 算法的选举机制

优先选择复制偏移量最大的，数据最新从节点

3）配置更新：新主节点接管槽位并通知集群

3、槽重新分配

新 Master 接管原 Master 的哈希槽。

其他节点更新槽映射表。

生产级集群部署文档

硬件：3 主 3 从，不用哨兵节点，针对大型公司（日活百万级至千万级，QPS 10 万 +）的场景

说明：

• 集群共 6 个节点，3 主 3 从，16384 个槽位均匀分布在 3 个主节点。
• 每个从节点为其对应主节点的副本（由集群自动分配，也可手动指定）。
• 所有服务器之间网络互通，防火墙开放 6379（Redis）和 16379（集群总线）端口。
• 主从节点和哨兵节点分开部署，避免资源争用，提高稳定性。

基础配置 - 所有节点

# 设置主机名（根据角色修改）
hostnamectl set-hostname redis-m1 # 主节点 1
hostnamectl set-hostname redis-m2 # 主节点 2
hostnamectl set-hostname redis-m3 # 主节点 3
hostnamectl set-hostname redis-s1 # 从节点 1
hostnamectl set-hostname redis-s2 # 从节点 2
hostnamectl set-hostname redis-s3 # 从节点 3

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 或者开放端口
# firewall-cmd --permanent --add-port=6379/tcp --add-port=26379/tcp
# firewall-cmd --reload

# 关闭 SELinux（临时）
setenforce 0
sed -i 's/^SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

安装 Redis-所有节点

# 方式一：源码编译
cd /usr/local/src
wget https://download.redis.io/releases/redis-7.2.4.tar.gz
tar xzf redis-7.2.4.tar.gz
cd redis-7.2.4
make && make install PREFIX=/usr/local/redis

# 创建数据目录和配置目录
mkdir -p /data/redis/{data,logs,conf,run}
useradd redis -s /sbin/nologin -M
chown -R redis:redis /data/redis /usr/local/redis

# 启动 redis[暂时不启动]
./redis-server /data/redis/conf/redis.conf

配置 Redis 集群节点

主节点配置（redis-m1, redis-m2, redis-m3）

以 redis-m1（192.168.1.1）为例，编辑 /data/redis/conf/redis.conf

# 集群配置
cluster-enabled yes
cluster-config-file /data/redis/conf/nodes-6379.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.1.1 # 替换为本机 IP
cluster-announce-port 6379       # redis 端口
cluster-announce-bus-port 16379  # redis 集群总线端口

# 以下配置和主从架构一致即可
# 基础配置
# 主节点认证密码（可选，建议设置）
# 持久化配置 RDB+AOF
# AOF 配置（可根据需求选择开启）
# 内存管理（根据实际内存调整，留出系统内存）

启动 redis ./redis-server /data/redis/conf/redis.conf

从节点配置（redis-s1, redis-s2, redis-s3）

从节点配置与主节点基本相同，仅 cluster-announce-ip 需修改为对应 IP。

以 redis-s1（192.168.1.4）为例，配置文件同上，只需将 cluster-announce-ip 改为 192.168.1.4。

# 集群配置
cluster-enabled yes
cluster-config-file /data/redis/conf/nodes-6379.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.1.4 # 替换为本机 IP
cluster-announce-port 6379
cluster-announce-bus-port 16379

启动 redis ./redis-server /data/redis/conf/redis.conf

集群配置

在任意一台有 redis-cli 的节点（如 redis-m1）执行：

# 列出所有 6 个节点的 IP:端口，为每个主节点分配 1 个从节点。
./redis-cli -a Redis123 --cluster create \
192.168.1.1:6379 192.168.1.2:6379 192.168.1.3:6379 \
192.168.1.4:6379 192.168.1.5:6379 192.168.1.6:6379 \
--cluster-replicas 1

执行后会显示分配方案，确认后输入 yes。

等待片刻，集群创建成功。

验证

查看集群信息

redis-cli -a Redis123 -c -h 192.168.1.1 cluster info

输出示例：

cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_known_nodes:6
cluster_size:3

查看节点列表

redis-cli -a Redis123 -c -h 192.168.1.1 cluster nodes

应列出 6 个节点，包含主从关系及槽位分配

测试数据读写

redis-cli -a Redis123 -c -h 192.168.1.1 set foo bar redis-cli -a Redis123 -c -h 192.168.1.1 get foo

高可用测试

• 模拟主节点故障
  1. 在 redis-m1 上执行后等待 30s：systemctl stop redis
  2. Redis Cluster 会自动将从节点（例如 redis-s1）提升为新主节点。
• 恢复原主节点
  1. 启动 redis-m1：systemctl start redis
  2. 它将作为从节点自动加入集群。
• 手动故障转移

若需将从节点提升为主，可在从节点执行：

redis-cli -a Redis123 -h 192.168.1.4 -p 6379 CLUSTER FAILOVER

性能测试

总写能力：3 个主节点处理写请求，可线性扩展，总写 QPS 约 15 万~24 万（按单节点 5~8 万估算）。

总读能力：如果所有读请求都发送到主节点，则总读 QPS 同样约 15 万24 万；如果允许从节点处理读（通过客户端配置），则总读 QPS 可接近 **30 万48 万**（3 主 +3 从同时服务读，但需注意从节点可能有一定延迟）。

总混合 QPS：在读写比例 2:8 下，总 QPS 可达 20 万~30 万。