HDFS 分布式文件系统数据读写流程解析

1. 打开文件：客户端调用 FileSystem.open()，底层 DistributedFileSystem 创建输入流 FSDataInputStream（即 DFSInputStream）。
2. 获取块位置：DFSInputStream 构造函数通过 RPC 调用名称节点，获取文件起始数据块的存储位置。名称节点返回所有副本数据节点的地址，并按距离客户端远近排序。
3. 建立连接：客户端根据排序结果，选择最近的数据节点建立连接并读取数据。
4. 读取与切换：数据块读取完毕后，关闭该连接。若还有后续数据块，输入流会查找下一个块的位置（缓存命中则跳过 RPC），重复上述步骤。
5. 异常处理：读取过程中若通信出错，客户端会自动尝试连接同一数据块的下一个副本节点。
6. 关闭流：数据读完调用 close() 关闭输入流。

写数据的过程

写入数据涉及管道传输和确认机制，流程如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Chapter3 {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://localhost:9000");
            conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
            FileSystem fs = FileSystem.get(conf);
            byte[] buff = "Hello world".getBytes();
            String filename = "test";
            FSDataOutputStream out = fs.create(new Path(filename));
            out.write(buff, 0, buff.length);
            System.out.println("Create:" + filename);
            out.close();
            fs.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

1. 创建文件：客户端调用 FileSystem.create()，DistributedFileSystem 实例化输出流 FSDataOutputStream（即 DFSOutputStream）。同时通过 RPC 通知名称节点在命名空间创建新文件，检查权限及存在性。
2. 构建管道：输出流向名称节点申请数据节点，形成一条数据流管道（Pipeline）。
3. 分包写入：客户端写入的数据被切分成小包放入队列。数据包发往管道第一个节点，依次向后传递。
4. 确认机制：每个数据节点接收数据后，需向发送者回传确认包（ACK Packet）。确认包沿管道逆流而上回到客户端，客户端收到 ACK 后才从队列移除对应分包。
5. 完成写入：数据全部写完调用 close()，清空队列中的分包后，通过 complete() 通知名称节点关闭文件。

小结

HDFS 读写核心在于客户端与名称节点、数据节点的交互。读操作侧重就近原则和副本容错，写操作依赖管道传输和 ACK 确认机制确保数据一致性。