HDFS 作为分布式文件系统的核心，其存储原理直接关系到数据的可靠性与读写性能。为了保证系统在廉价硬件上的容错能力，HDFS 采用了多副本冗余机制，并配合以机架感知为基础的数据存取策略。
一、数据的冗余存储
HDFS 将数据切分为块（Block），每个块默认生成多个副本分布在不同节点上。这种设计主要有三个好处：
- 提升传输速度：当多个客户端同时访问同一文件时，系统可调度不同副本并行读取，有效分散网络负载。
- 便于错误检测：多副本的存在使得节点间校验更容易实现，能快速定位传输或存储异常。
- 保障数据可靠：即使单个数据节点宕机，其他副本仍能提供服务，避免数据丢失。
二、数据存取策略
数据存放、读取和复制是 HDFS 性能的关键，策略设计需兼顾带宽利用与故障隔离。
（一）数据存放
集群通常由多个机架组成，机架内通信无需经过交换机，带宽高于跨机架通信。HDFS 默认采用机架感知策略来放置副本。虽然默认策略可能限制同机架带宽的充分利用，但它显著提升了可靠性——单机架故障不会导致所有副本失效。
默认副本数为 3，放置逻辑如下：
- 第一个副本优先放在发起写请求的节点（集群内）或随机选择空闲节点（集群外）；
- 第二个副本放在不同机架的节点上；
- 第三个副本放在与第一个副本同机架的其他节点上；
- 更多副本则随机分配。
（二）数据读取
客户端通过 API 获取自身及数据节点的机架 ID。读取时，NameNode 返回副本位置列表，客户端优先选择同机架的副本进行读取，若无匹配则随机选取。这种优化减少了跨机架流量，提升了读取效率。
（三）数据复制
写入过程采用流水线复制策略以提升吞吐。客户端向 NameNode 请求写入，获得数据节点列表后，将数据依次写入列表中的第一个节点。该节点接收部分数据（如 4KB）后立即写入本地，并向列表中的下一个节点转发数据和连接请求。后续节点依此类推，形成一条复制流水线。文件写完时，复制任务同步完成。
三、数据错误与恢复
HDFS 视硬件故障为常态，设计了完善的容错机制。
（一）名称节点出错
NameNode 存储元数据（FsImage 和 EditLog）。为防止元数据损坏，系统会将元数据同步到远程文件系统（如 NFS），并运行 Secondary NameNode 辅助合并日志。若 NameNode 宕机，可利用备份信息在 Secondary NameNode 上恢复服务，尽管这可能导致少量数据丢失，但结合 NFS 备份可将风险降至最低。
（二）数据节点出错
DataNode 定期向 NameNode 发送心跳。若心跳中断，NameNode 将该节点标记为死机，停止向其发送 I/O 请求。此时若发现某数据块副本数低于设定值，NameNode 会触发重复制流程，从可用节点生成新副本，确保冗余度达标。
（三）数据出错
磁盘或网络错误可能导致数据位翻转。客户端读取时会使用 MD5 或 SHA-1 校验数据块。创建文件时，校验信息已写入隐藏文件。读取过程中若校验失败，客户端会尝试从其他副本读取，并向 NameNode 报告错误，触发重新复制机制。
小结
HDFS 通过多副本冗余保障了高可用性，机架感知策略优化了读写性能，流水线复制提升了写入效率。面对各类故障，系统依靠心跳检测、元数据备份及客户端校验实现了自动恢复，确保了在廉价硬件集群上的稳定运行。
