HDFS 分布式文件系统数据读写流程解析

实际运行时，HDFS 内部执行过程如下：

1. 打开文件：客户端调用 FileSystem.open()，DistributedFileSystem 创建 FSDataInputStream（即 DFSInputStream）。
2. 获取块位置：DFSInputStream 构造函数中通过 RPC 远程调用名称节点，获取文件起始数据块的保存位置。名称节点返回该块所有数据节点的地址，并按距离客户端远近排序。
3. 建立连接：客户端根据排序结果，选择最近的数据节点建立连接并读取数据。
4. 读取与切换：数据从数据节点传输到客户端。当前数据块读完，关闭与该节点的连接。若还有后续块，通过 getBlockLocations() 查找下一个块的位置（若缓存命中则跳过此步），重复上述读取流程。
5. 异常处理：读取过程中若通信出错，客户端会自动尝试连接包含此数据块的下一个数据节点，确保数据完整性。
6. 关闭流：数据读取完毕后，调用 close() 关闭输入流。

二、写数据的过程

写入数据是一个构建管道并确认反馈的复杂过程。以下是无异常情况下，连续调用 create()、write() 和 close() 的内部流程。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Chapter3 {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://localhost:9000");
            conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
            FileSystem fs = FileSystem.get(conf);
            byte[] buff = "Hello world".getBytes();
            String filename = "test";
            FSDataOutputStream os = fs.create(new Path(filename));
            os.write(buff, 0, buff.length);
            System.out.println("Create:" + filename);
            os.close();
            fs.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

具体步骤如下：

1. 创建文件：客户端调用 FileSystem.create()，DistributedFileSystem 创建 FSDataOutputStream（即 DFSOutputStream）。
2. 命名空间检查：通过 RPC 远程调用名称节点，在命名空间中创建新文件。名称节点检查文件是否存在及客户端权限，通过后构造文件信息并返回输出流给客户端。
3. 构建管道：客户端向输出流写入数据，数据被切分为分包放入队列。输出流向名称节点申请若干个数据节点形成数据流管道。
4. 数据传输：分包打包成数据包发往管道第一个数据节点，依次向后传递。由于节点位于不同机器，需通过网络发送。
5. 确认机制：为保证数据准确，接收数据的节点需向发送者发送'确认包'（ACK Packet）。确认包沿管道逆流而上，最终发回客户端。收到应答后，客户端从队列移除对应分包。
6. 完成写入：调用 close() 关闭输出流。待队列中分包全部收到应答，通过 ClientProtocol.complete() 通知名称节点关闭文件，完成写入。

小结

HDFS 读写数据的核心在于 NameNode 与 DataNode 的协同。读操作通过 DFSInputStream 获取块位置并就近读取，支持故障节点自动切换；写操作通过 DFSOutputStream 构建数据流管道，分包传输并经确认包回传验证。代码示例展示了基于 FileSystem 接口的标准 IO 实现方式，实际开发中需注意配置 fs.defaultFS 及异常处理。