HDFS 分布式文件系统编程实践与常用命令指南

二、HDFS 的 Web 页面

配置好集群后，可以通过浏览器访问 NameNode 的 Web UI 来管理文件系统。地址通常为 http://[NameNodeIP]:9870。例如在伪分布式环境下，可访问 http://localhost:9870。

通过该界面，可以直观地查看节点分布、存储日志以及浏览文件。当然，Web 页面的功能大多也可以通过 Shell 命令实现，比如使用 hadoop fs -ls/ 即可替代'Browse the filesystem'功能。

三、HDFS 常用 Java API 及应用实例

Hadoop 基于 Java 开发，Shell 命令本质上也是调用 Java API。下面介绍核心的 API 类及一个完整的编程实例。

（一）常用 Java API 介绍

• org.apache.hadoop.fs.FileSystem：通用文件系统抽象基类，所有 Hadoop 文件系统操作的基础。
• org.apache.hadoop.fs.FileStatus：接口，展示文件和目录的元数据（大小、块大小、副本数等）。
• org.apache.hadoop.fs.FSDataInputStream：文件输入流，用于读取 Hadoop 文件。
• org.apache.hadoop.fs.FSDataOutputStream：文件输出流，用于写入 Hadoop 文件。
• org.apache.hadoop.conf.Configuration：配置项访问类，优先读取 core-site.xml 中的配置。
• org.apache.hadoop.fs.Path：表示 HDFS 中的文件或目录路径。
• org.apache.hadoop.fs.PathFilter：接口，用于过滤路径。

（二）应用实例

接下来通过一个具体的例子，演示如何在 Eclipse 中编写代码，利用 Java API 合并 HDFS 中的文件。

1. 在 Eclipse 中创建项目

启动 Eclipse，设置工作空间后，选择 File -> New -> Java Project。输入工程名称 HDFSExample，选择 JRE（建议 JDK 1.8），点击 Next 完成基础配置。

2. 为项目添加依赖 JAR 包

进入工程属性，选择 Libraries 选项卡，点击 Add External JARs…。需要加载 Hadoop 安装目录下的相关 JAR 包，通常位于 /usr/local/hadoop/share/hadoop 下。主要包含以下目录的内容：

• /usr/local/hadoop/share/hadoop/common 下的所有 JAR 包（排除 jdiff, lib, sources, webapps）。
• /usr/local/hadoop/share/hadoop/common/lib 下的所有 JAR 包。
• /usr/local/hadoop/share/hadoop/hdfs 下的所有 JAR 包（排除 jdiff, lib, sources, webapps）。
• /usr/local/hadoop/share/hadoop/hdfs/lib 下的所有 JAR 包。

注意修正原文中的拼写错误，确保引入的是 hadoop-nfs 而非 haoop-nfs。全选所需 JAR 包后点击确定，即可完成依赖配置。

3. 编写 Java 应用程序

在工程中创建类 MergeFile，用于检测并合并 HDFS 文件。核心代码如下：

import java.io.IOException;
import java.io.PrintStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;

/**
 * 过滤掉文件名满足特定条件的文件
 */
class MyPathFilter implements PathFilter {
    String reg = null;

    MyPathFilter(String reg) {
        this.reg = reg;
    }

    public boolean accept(Path path) {
        if (!(path.toString().matches(reg))) return true;
        return false;
    }
}

/**
 * 利用 FSDataOutputStream 和 FSDataInputStream 合并 HDFS 中的文件
 */
public class MergeFile {
    Path inputPath = null; // 待合并的文件所在的目录的路径
    Path outputPath = null; // 输出文件的路径

    public MergeFile(String input, String output) {
        this.inputPath = new Path(input);
        this.outputPath = new Path(output);
    }

    public void doMerge() throws IOException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create(inputPath.toString()), conf);
        FileSystem fsDst = FileSystem.get(URI.create(outputPath.toString()), conf);

        // 过滤掉输入目录中后缀为.abc 的文件
        FileStatus[] sourceStatus = fsSource.listStatus(inputPath, new MyPathFilter(".*\\.abc"));
        FSDataOutputStream fsdos = fsDst.create(outputPath);
        PrintStream ps = new PrintStream(System.out);

        // 分别读取过滤之后的每个文件的内容，并输出到同一个文件中
        for (FileStatus sta : sourceStatus) {
            System.out.print("路径：" + sta.getPath() + " 文件大小：" + sta.getLen() + " 权限：" + sta.getPermission() + " 内容：");
            FSDataInputStream fsdis = fsSource.open(sta.getPath());
            byte[] data = new byte[1024];
            int read = -1;
            while ((read = fsdis.read(data)) > 0) {
                ps.write(data, 0, read);
                fsdos.write(data, 0, read);
            }
            fsdis.close();
        }
        ps.close();
        fsdos.close();
    }

    public static void main(String[] args) throws IOException {
        MergeFile merge = new MergeFile("hdfs://localhost:9000/user/hadoop/", "hdfs://localhost:9000/user/hadoop/merge.txt");
        merge.doMerge();
    }
}

4. 编译运行程序

确保 Hadoop 已启动，且 /user/hadoop 目录下存在测试文件（如 file1.txt 等）。在 Eclipse 中选择 Run As -> Java Application 执行。控制台会输出处理日志，若成功可在终端通过 hdfs dfs -cat /user/hadoop/merge.txt 验证结果。

5. 应用程序的部署

将程序打包成 JAR 以便在生产环境运行。在 Eclipse 中选择 Export -> Runnable JAR file，主类选择 MergeFile-HDFSExample，导出路径设为 /usr/local/hadoop/myapp/HDFSExample.jar，库处理选择 Extract required libraries into generated JAR。

打包完成后，在 Linux 终端执行以下命令部署运行：

cd /usr/local/hadoop
./bin/hadoop jar ./myapp/HDFSExample.jar

再次查看 HDFS 中的文件，确认合并结果无误。

总结

本文详细介绍了 HDFS 的常用 Shell 命令、Web 管理界面以及基于 Java API 的开发实践。内容涵盖文件上传下载、权限管理及副本系数调整等基础操作，并通过 Eclipse 环境下的文件合并示例，详细演示了从项目搭建、依赖配置到代码编写与 JAR 包部署的全流程。适合希望深入理解 Hadoop 文件系统交互机制的开发者参考。