HDFS 编程实践：命令、API 与部署

下面通过一个合并 HDFS 文件的案例，演示从项目搭建到部署的全过程。

1. 在 Eclipse 中创建项目

启动 Eclipse，设置工作空间后，选择 File -> New -> Java Project。输入工程名 HDFSExample，选择 JDK 版本（如 jdk1.8.0_371），点击 Finish 完成创建。

2. 添加 Hadoop JAR 包

进入项目属性，选择 Libraries 标签页，点击 Add External JARs...。需要加载以下目录下的所有 JAR 包（排除 jdiff, lib, sources, webapps 目录）：

• /usr/local/hadoop/share/hadoop/common
• /usr/local/hadoop/share/hadoop/common/lib
• /usr/local/hadoop/share/hadoop/hdfs
• /usr/local/hadoop/share/hadoop/hdfs/lib

确保包含 hadoop-common-3.3.5.jar 等核心依赖。

3. 编写 Java 应用程序

新建类 MergeFile，用于过滤并合并 HDFS 中的文件。代码如下：

import java.io.IOException;
import java.io.PrintStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;

/**
 * 过滤掉文件名满足特定条件的文件
 */
class MyPathFilter implements PathFilter {
    String reg = null;

    MyPathFilter(String reg) {
        this.reg = reg;
    }

    public boolean accept(Path path) {
        if (!(path.toString().matches(reg))) return true;
        return false;
    }
}

/**
 * 利用 FSDataOutputStream 和 FSDataInputStream 合并 HDFS 中的文件
 */
public class MergeFile {
    Path inputPath = null; // 待合并的文件所在的目录的路径
    Path outputPath = null; // 输出文件的路径

    public MergeFile(String input, String output) {
        this.inputPath = new Path(input);
        this.outputPath = new Path(output);
    }

    public void doMerge() throws IOException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create(inputPath.toString()), conf);
        FileSystem fsDst = FileSystem.get(URI.create(outputPath.toString()), conf);

        // 过滤掉输入目录中后缀为.abc 的文件
        FileStatus[] sourceStatus = fsSource.listStatus(inputPath, new MyPathFilter(".*\\.abc"));
        FSDataOutputStream fsdos = fsDst.create(outputPath);
        PrintStream ps = new PrintStream(System.out);

        // 分别读取过滤之后的每个文件的内容，并输出到同一个文件中
        for (FileStatus sta : sourceStatus) {
            System.out.print("路径：" + sta.getPath() + " 文件大小：" + sta.getLen() + " 权限：" + sta.getPermission() + " 内容：");
            FSDataInputStream fsdis = fsSource.open(sta.getPath());
            byte[] data = new byte[1024];
            int read = -1;
            while ((read = fsdis.read(data)) > 0) {
                ps.write(data, 0, read);
                fsdos.write(data, 0, read);
            }
            fsdis.close();
        }
        ps.close();
        fsdos.close();
    }

    public static void main(String[] args) throws IOException {
        MergeFile merge = new MergeFile("hdfs://localhost:9000/user/hadoop/", "hdfs://localhost:9000/user/hadoop/merge.txt");
        merge.doMerge();
    }
}

4. 编译运行程序

确保 Hadoop 已启动且 /user/hadoop 目录下存在测试文件（如 file1.txt 等）。在 Eclipse 中选择 Run As -> Java Application 执行。控制台会显示警告信息（如 log4j:WARN），可忽略。运行成功后，通过终端命令验证结果：

./bin/hdfs dfs -cat /user/hadoop/merge.txt

预期输出应包含被保留文件的内容。

5. 应用程序的部署

将代码打包为 JAR 以便在集群上运行。在 Eclipse 中选择 Export -> Runnable JAR file，主类选择 MergeFile-HDFSExample，导出路径设为 /usr/local/hadoop/myapp/HDFSExample.jar，库处理选择 Extract required libraries into generated JAR。

部署后，使用 hadoop jar 命令提交任务：

./bin/hadoop jar ./myapp/HDFSExample.jar

再次检查 HDFS 中的文件内容，确认逻辑正确。

总结

本文梳理了 HDFS 编程的三种主要方式：Shell 命令适合快速操作，Web 页面便于监控，而 Java API 则是构建复杂应用的基础。通过配置依赖、编写核心逻辑以及打包部署，可以高效地实现文件系统的交互与管理。在实际开发中，注意处理异常流关闭及配置项的正确传递，能有效避免运行时错误。