HDFS 分布式文件系统数据读写流程详解

拿到输入流后，客户端调用 read() 开始读取。流根据排序结果选择最近的数据节点建立连接并拉取数据。当一块数据读完，FSDataInputStream 关闭与该节点的连接，并通过 getBlockLocations() 查找下一个块（若缓存命中则跳过）。找到最佳节点后继续读取。读取结束时调用 close() 关闭流。过程中若通信出错，会自动尝试连接同一块的下一个数据节点。

二、写数据的过程

客户端通过 create() 创建文件，DistributedFileSystem 创建 DFSOutputStream。接着通过 RPC 远程调用名称节点，在命名空间中检查并新建文件。名称节点验证权限和存在性后，构造新文件信息，返回输出流供客户端写入。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Chapter3 {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://localhost:9000");
            conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
            FileSystem fs = FileSystem.get(conf);
            byte[] buff = "Hello world".getBytes(); // 要写入的内容
            String filename = "test"; // 要写入的文件名
            FSDataOutputStream os = fs.create(new Path(filename));
            os.write(buff, 0, buff.length);
            System.out.println("Create:" + filename);
            os.close();
            fs.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

写入时，数据被切分为分包放入内部队列。输出流向名称节点申请数据节点形成管道。分包打包成数据包发往管道第一个节点，依次向后传递。由于节点在不同机器上，需网络传输。为确保一致性，每个节点收到数据后发送确认包（ACK Packet），沿管道逆流回客户端。客户端收到应答后移除队列中的分包。重复此过程直到写完。最后调用 close()，通知名称节点完成文件写入。

小结

HDFS 读写核心在于客户端与 NameNode、DataNode 的协作。读数据通过 DFSInputStream 获取块位置，就近读取；写数据通过 DFSOutputStream 构建管道，分包传输并接收 ACK 确认。关键类包括 FileSystem、DistributedFileSystem 及对应的输入输出流。