【Java 开发日记】我们来说一说 Redis 主从复制的原理及作用

【Java 开发日记】我们来说一说 Redis 主从复制的原理及作用

目录

概述

一、核心作用

二、详细工作原理

阶段 1:连接建立与配置

阶段 2:数据同步(全量/部分同步)

阶段 3:命令传播(增量同步)

三、重要特性与配置

四、总结与形象比喻

面试回答


概述

Redis 主从复制是一种数据同步机制,它允许一个 Redis 服务器(称为 主服务器/Master)将其数据复制到一个或多个 Redis 服务器(称为 从服务器/Slave/Replica)。这是 Redis 实现高可用性、可扩展性和数据冗余的核心技术之一。

一、核心作用

  1. 数据冗余与备份
    • 核心作用:从服务器是主服务器数据的实时热备份。当主服务器数据丢失或损坏时,可以从从服务器恢复,是实现数据持久化的另一种有效方式。
  2. 读写分离与负载均衡
    • 核心作用:主服务器通常处理写操作强一致性读操作,而从服务器可以处理大量的读操作。通过将读请求分流到多个从服务器上,可以显著提升系统的整体读吞吐量和并发能力。
    • 注意:由于复制是异步的,从服务器上的数据可能存在毫秒级的延迟,适用于对数据一致性要求不非常严格的读场景(如缓存、报表查询)。
  3. 高可用和故障恢复的基石
    • 核心作用:主从复制是构建 Redis Sentinel(哨兵) 和 Redis Cluster(集群) 等高可用架构的基础。当主服务器发生故障时,可以通过哨兵自动将一个从服务器提升为新的主服务器,实现服务快速切换,保证业务的连续性。
  4. 横向扩展读能力
    • 核心作用:当读请求成为瓶颈时,可以简单地通过添加更多从服务器来线性扩展读性能,而无需升级主服务器硬件。

二、详细工作原理

整个复制过程可以分为三个阶段:连接建立阶段数据同步阶段命令传播阶段

阶段 1:连接建立与配置
  1. 配置从节点:在从服务器配置文件 (redis.conf) 中设置 replicaof <master-ip> <master-port> 或在运行时使用 REPLICAOF 命令。
  2. 建立连接:从服务器根据配置,向主服务器发起一个 Socket 连接,并发送 PING 命令检查通信是否正常。
  3. 身份验证:如果主服务器设置了 requirepass,从服务器需要发送 AUTH 命令进行密码验证。
  4. 端口监听:从服务器还会建立一个 复制积压缓冲区监听端口,等待主服务器后续发送数据。
阶段 2:数据同步(全量/部分同步)

这是复制过程中最核心、最复杂的部分。Redis 2.8 之后,使用 PSYNC 命令取代了旧的 SYNC 命令,支持部分重同步,极大地优化了断线重连后的效率。

  • 全量同步
    • 触发条件:从服务器是第一次连接主服务器,或者从服务器记录的复制偏移量已经不在主服务器的复制积压缓冲区中。
    • 过程
      1. 从服务器发送 PSYNC ? -1 命令请求全量同步。
      2. 主服务器执行 BGSAVE 命令,在后台生成当前数据的 RDB 快照文件
      3. 主服务器将 RDB 文件通过网络发送给从服务器。在生成和传输RDB期间,新的写命令会被缓存在内存的复制客户端缓冲区中。
      4. 从服务器清空自身旧数据,然后加载接收到的 RDB 文件,将自身数据状态更新到与主服务器执行 BGSAVE 时一致。
      5. 主服务器将复制客户端缓冲区中积累的写命令发送给从服务器,从服务器执行这些命令,最终达到与主服务器完全一致的状态。
    • 缺点:非常消耗主服务器的 CPU、内存、磁盘 I/O 和网络带宽,尤其是数据量大时。
  • 部分同步
    • 触发条件:从服务器短时间断开后重连,并且它之前同步的偏移量仍然存在于主服务器的复制积压缓冲区中。
    • 过程
      1. 从服务器发送 PSYNC <runid> <offset> 命令,其中 runid 是主服务器的唯一ID,offset 是从服务器当前的复制偏移量。
      2. 主服务器判断 runid 是否与自己一致,且 offset 之后的数据是否还在复制积压缓冲区内。
      3. 如果条件满足,主服务器回复 +CONTINUE,然后仅将从 offset 到缓冲区末尾的写命令发送给从服务器。
    • 优点:效率极高,只传输少量缺失的数据,对资源影响小。

关键概念解释

  • 复制偏移量:主从服务器各自维护一个偏移量计数器。主服务器每次传播N个字节的命令,其偏移量就增加N。从服务器每次接收到N个字节,其偏移量也增加N。通过对比偏移量可以判断数据是否一致。
  • 复制积压缓冲区:主服务器维护的一个固定长度的先进先出队列。它持续记录最近传播的写命令。其大小通过 repl-backlog-size 配置,是决定能否进行部分同步的关键。
  • 服务器运行ID:每个Redis实例启动时都会生成一个唯一的运行ID。从服务器会记录主服务器的ID。当主服务器重启变更后,运行ID改变,从服务器会触发全量同步。
阶段 3:命令传播(增量同步)

数据同步完成后,复制进入稳定阶段。

  1. 持续同步:主服务器每执行一个会修改数据集的写命令(如 SETLPUSH 等),都会异步地将这个命令发送给所有连接的从服务器。
  2. 从服务器执行:从服务器接收到命令后,会在自身的数据集上执行相同的命令,从而保持与主服务器的最终一致性。
  3. 异步特性:整个命令传播过程是异步的。主服务器发送命令后不会等待从服务器的回复。这意味着在极端情况下,如果主服务器在命令发送后立即宕机,该命令可能丢失,导致从服务器数据稍旧。这是Redis复制在性能强一致性之间做的权衡。

三、重要特性与配置

  • 异步复制:默认且最常用的模式,性能好,但存在数据丢失的极小窗口期。
  • 可配置的“最小副本数”:通过 min-replicas-to-write 和 min-replicas-max-lag 配置,可以让主服务器在连接的从服务器数量不足或延迟过高时,拒绝执行写命令。这在一定程度上提高了数据的安全性,牺牲了部分可用性。
  • 无磁盘复制:通过 repl-diskless-sync 配置,主服务器可以直接将 RDB 内容通过网络发送给从服务器,而不需要先落盘。适用于磁盘IO慢的网络环境。
  • 级联复制:从服务器也可以有自己的从服务器,形成树状复制结构,可以减轻主服务器在传播命令时的网络压力。

四、总结与形象比喻

你可以将 Redis 主从复制理解为一个 “出版-订阅”模型 或 “领导-跟随”模型

  • 主服务器 就像出版社,负责撰写和出版新书(写命令)。
  • 复制积压缓冲区 就像是出版社的近期稿件仓库。
  • 从服务器 就像各地的书店。
  • 全量同步 就像书店第一次进货,需要把出版社的所有库存书籍(RDB)全部运过来。
  • 部分同步 就像书店临时补货,只从出版社的近期稿件仓库里拿最新出版的那几本书。
  • 命令传播 就像出版社每出版一本新书,就立即寄送给所有订阅的书店。

作用:这个系统让书店(从服务器)始终有书可卖(数据可读),即使总社(主服务器)暂时关闭,也能从其他大型书店(另一个从服务器)调货,保证了图书销售系统(Redis服务)的稳定和高效。

面试回答

Redis 主从复制主要用来实现数据的冗余备份、读写分离和高可用。它的核心就是让一个主节点的数据自动同步到一个或多个从节点上。
 

原理上,我把它分为三个阶段:

  1. 建立连接阶段
    从节点启动后,会通过 slaveof 命令或者配置指向主节点,然后向主节点发送 PSYNC 命令请求同步。主节点收到请求后,会生成一个 RDB 快照文件(bgsave 方式),同时用缓冲区记录这期间的新写命令。
  2. 数据同步阶段
    主节点把生成的 RDB 文件发送给从节点,从节点清空自己的旧数据,然后加载这个 RDB 来恢复数据。如果在生成 RDB 期间主节点有新的写操作,这些命令会先保存在一个叫“复制缓冲区”的地方。
  3. 命令传播阶段
    RDB 同步完成之后,主节点会把复制缓冲区里的写命令以及后续的所有写命令,以 AOF 重放的方式发送给从节点,从节点执行这些命令,从而和主节点保持实时一致。之后主节点每执行一个写命令,都会异步发送给从节点。

另外,Redis 2.8 之后支持了部分重同步:如果从节点短暂断连后又恢复,主节点可以根据复制偏移量和复制缓冲区,只发送断开期间缺失的那部分命令,而不需要全量同步,这大大提升了复制的效率。

主从复制的作用主要有三点:

  1. 数据备份
    从节点相当于主节点的一个实时备份,一旦主节点数据丢失,可以从从节点恢复。
  2. 读写分离
    主节点负责写,从节点可以分担读请求,这样提升整体读的吞吐量,适合读多写少的场景。
  3. 高可用基础
    主从复制是 Redis Sentinel 和 Redis Cluster 实现高可用的基础,主节点挂了之后,可以手动或自动将一个从节点提升为主节点,继续提供服务。

如果小假的内容对你有帮助,请点赞评论收藏。创作不易,大家的支持就是我坚持下去的动力!

Read more

【2026最新】OpenClaw保姆级安装配置教程-手把手教你在Windows上用 Node.js 22+Git+Kimi模型+飞书机器人去部署你的小龙虾 超详细带图展示详解(Windows 版)

【2026最新】OpenClaw保姆级安装配置教程-手把手教你在Windows上用 Node.js 22+Git+Kimi模型+飞书机器人去部署你的小龙虾 超详细带图展示详解(Windows 版)

前言介绍 2026年,你的“数字员工”入职指南 * 你是否设想过这样一个场景:在2026年的今天,你的飞书不再仅仅是一个打卡和开会的工具,而是一个拥有“超级大脑”的智能中枢。 * 当你深夜灵感迸发时,它能陪你头脑风暴;当你被繁琐的数据报表淹没时,它能一键生成分析摘要;甚至当你需要管理密码、监控博客更新时,它都能像一位得力的私人助理般默默搞定。 这一切不再是科幻电影里的桥段,而是触手可及的现实。 为什么是OpenClaw? * 在AI Agent(智能体)爆发的2026年,OpenClaw 无疑是GitHub上最耀眼的明星之一。它被誉为“AI界的npm”,以其极高的可扩展性和本地化部署的隐私安全性,迅速席卷全球开发者社区。 * 不同于普通的聊天机器人,OpenClaw 是一个 “行动式智能体” 。它不仅能陪你聊天,更能通过安装各种 Skills(技能) 来接管你的工作流。它就像一只无所不能的“赛博龙虾”,潜伏在你的电脑后台,随时准备响应你的召唤。 ️告别环境混乱,拥抱极致纯净 * 对于开发者而言,部署环境往往是一场噩梦。不同项目依赖不同版本的 Node.

By Ne0inhk

FPGA实现HDMI输出完全攻略:从接口原理到4K显示全流程(附代码模板+调试技巧)

FPGA实现HDMI输出完全攻略:从接口原理到4K显示全流程(附代码模板+调试技巧) 📚 目录导航 文章目录 * FPGA实现HDMI输出完全攻略:从接口原理到4K显示全流程(附代码模板+调试技巧) * 📚 目录导航 * 概述 * 一、HDMI基础概念 * 1.1 HDMI接口介绍 * 1.1.1 HDMI接口历史与发展 * 1.1.2 HDMI接口引脚定义 * 1.1.3 HDMI版本对比 * 1.2 HDMI版本演进 * 1.2.1 HDMI 1.4特性 * 1.2.2 HDMI 2.0特性 * 1.2.3 HDMI 2.1特性

By Ne0inhk
Nano Banana进行AI绘画中文总是糊?一招可重新渲染,清晰到可直接汇报

Nano Banana进行AI绘画中文总是糊?一招可重新渲染,清晰到可直接汇报

文章目录 * 1. 为什么 Nano Banana 生成的中文经常不清晰? * 2. 解决思路:Nano Banana + Seedream 4.5 的两段式工作流 * 3. 实战:先用 Nano Banana 生成架构图(中文会糊) * 4. 部署 Personal LLM API,并配置 Seedream 4.5 * 5. 用 Cherry Studio 配置已部署的 LLM 接口 * 6. 关键一步:用 Seedream 4.5 对“中文文字重新渲染” * 7. 效果对比:字清晰、无错位、图形保持不变

By Ne0inhk

5分钟部署麦橘超然Flux,低显存设备也能玩转AI绘画

5分钟部署麦橘超然Flux,低显存设备也能玩转AI绘画 1. 为什么你值得花5分钟试试这个Flux控制台 你是不是也遇到过这些情况: * 想试试最新的Flux模型,但显卡只有8GB甚至6GB,一加载就报“CUDA out of memory”; * 下载完模型还要手动配置路径、改代码、调参数,折腾两小时还没看到一张图; * 网页版用着方便,但担心隐私泄露、生成被限速、图片被缓存; 别再纠结了——麦橘超然 - Flux 离线图像生成控制台,就是为这类真实场景而生的。它不是又一个需要编译、调参、查文档的实验项目,而是一个开箱即用的本地Web服务:模型已打包进镜像,float8量化技术让DiT主干网络显存占用直降近一半,Gradio界面简洁到连提示词输入框都标好了占位符,连SSH隧道怎么转发都给你写好了命令。 更重要的是,它真的能在你的旧笔记本、远程小内存服务器、甚至实验室里那台只配了RTX 3060的工位机上跑起来。本文不讲原理推导,不堆术语,就带你从零开始,5分钟内完成部署、打开浏览器、输入第一句描述、亲眼看到AI画出赛博朋克雨夜街道——所有操作一步接一步,复制粘贴就能

By Ne0inhk