Hadoop 安装与使用指南：Ubuntu Kylin 环境下的单机及伪分布式部署

配置环境变量，编辑 ~/.bashrc 文件：

vim ~/.bashrc

在文件末尾添加以下内容：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_371
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存退出后生效配置：

source ~/.bashrc

验证安装：

java -version

若显示 1.8.0_371 则说明成功。

六、单机模式安装

单机模式下，Hadoop 仅在一台机器运行，使用本地文件系统而非 HDFS。

下载 hadoop-3.3.5.tar.gz 并解压至 /usr/local：

sudo tar -zxf ~/Downloads/hadoop-3.3.5.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hadoop-3.3.5/ ./hadoop
sudo chown -R hadoop ./hadoop

查看版本信息：

./bin/hadoop version

运行 Grep 示例测试：

cd /usr/local/hadoop
mkdir input
cp ./etc/hadoop/*.xml ./input
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/*

输出结果应包含统计信息，如 1 dfsadmin 等。

七、伪分布式模式安装

伪分布式模式模拟集群环境，但所有进程运行在同一台机器上。

1. 修改配置文件

编辑 core-site.xml：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

编辑 hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

2. 初始化与启动

格式化 NameNode（注意：仅限首次）：

cd /usr/local/hadoop
./bin/hdfs namenode -format

成功后会看到 successfully formatted 提示。

启动 HDFS：

./sbin/start-dfs.sh

通过 jps 检查进程，应包含 NameNode, SecondaryNameNode, DataNode。

访问 Web UI (http://localhost:9870) 可查看集群状态。

3. 文件操作与测试

创建用户目录并上传数据：

./bin/hdfs dfs -mkdir -p /user/hadoop
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input

运行 MapReduce 任务：

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar grep input output 'dfs[a-z.]+'

查看结果：

./bin/hdfs dfs -cat output/*

注意： 重新运行程序前需删除旧的 output 目录：

./bin/hdfs dfs -rm -r output

停止服务命令：

./sbin/stop-dfs.sh

小结

本文详述了 Ubuntu Kylin 16.04 LTS 下 Hadoop 的安装配置流程。从 Linux 环境准备、用户权限设置、SSH 免密登录到 Java 环境搭建，再到单机与伪分布式模式的部署与测试。重点涵盖了配置文件修改、NameNode 格式化、HDFS 启动验证及 MapReduce 示例运行，帮助读者独立完成 Hadoop 环境的构建与基础功能验证。