VMware 与 CentOS 7 环境下的 Hadoop 伪分布式集群部署实战

内存配置：分配 8GB。NameNode 和 ResourceManager 需要一定内存，8GB 可保证伪分布式模式流畅运行。

处理器配置：分配 4 个核心，单节点学习环境足够。

1.4 启动虚拟机并安装 CentOS 7

开启虚拟机，从 ISO 镜像自动开始安装过程。安装完成后重启进入登录界面，输入密码即可。

二、系统基础配置

2.1 网络连通性测试

打开终端，使用 ping 检查网络。

ping www.baidu.com

若有连续响应，说明网络正常。

2.2 关闭防火墙

开发环境中为避免端口通信被阻，通常关闭防火墙。

# 停止当前运行的防火墙服务
sudo systemctl stop firewalld
# 禁止防火墙服务开机自启
sudo systemctl disable firewalld

执行时提示输入密码。

2.3 配置 SSH 免密登录

Hadoop 管理脚本需通过 SSH 启动进程。即使伪分布式模式，也需免密登录 localhost。

生成密钥对：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

连续按回车接受默认设置。

授权公钥：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

测试：

ssh localhost

若无需密码直接登录即成功。

三、核心依赖安装与问题排查——JDK

Hadoop 基于 Java，必须安装 JDK。这里选用 OpenJDK 8。

3.1 首次尝试安装与权限问题

sudo yum install -y java-1.8.0-openjdk-devel

可能遇到权限报错，提示当前用户不在 sudoers 文件中。

3.2 解决 sudo 权限问题

使用 visudo 编辑 /etc/sudoers 文件，推荐此工具以防语法错误。

visudo

切换到 root 用户修改：

su - root

在 root ALL=(ALL) ALL 下方添加一行：

your_username ALL=(ALL:ALL) ALL

保存退出后生效。

3.3 配置 DNS 服务器

若安装时报错 Could not resolve host，说明 DNS 未配置。使用 nmtui 工具管理网络。

sudo nmtui

选择'Edit a connection'，找到 IPv4 CONFIGURATION，展开后在 DNS servers 处添加公共 DNS，如 114.114.114.114。

配置完成后重启网络服务：

sudo systemctl restart NetworkManager

验证 /etc/resolv.conf 确认 DNS 已生效。

3.4 优化软件源并安装

更换国内镜像源加速下载，例如阿里云：

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
sudo yum clean all
sudo yum makecache

再次执行安装命令，成功后验证版本：

java -version

四、Hadoop 安装与伪分布式配置

4.1 下载并解压 Hadoop

推荐使用国内镜像源下载 Hadoop 3.3.6：

wget https://mirrors.aliyun.com/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

解压到 /usr/local：

tar -zxvf hadoop-3.3.6.tar.gz -C /usr/local/

重命名目录以便引用：

cd /usr/local/
mv hadoop-3.3.6 hadoop

4.2 配置环境变量

编辑 /etc/profile，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置立即生效：

source /etc/profile

4.3 修改核心配置文件

进入 $HADOOP_HOME/etc/hadoop 目录。

hdfs-site.xml：设置副本数为 1（单机模式）。

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

core-site.xml：指定 NameNode 地址。

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>

hadoop-env.sh：指定 JAVA_HOME。

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

注意：路径需根据实际安装情况调整，后续排错会展示如何查找精确路径。

五、启动集群与问题排查

5.1 首次启动尝试

start-dfs.sh
start-yarn.sh

若报错不允许以 root 用户启动，这是安全机制。需格式化 NameNode 并切换用户。

hdfs namenode -format

警告：此操作只在第一次启动前执行，否则会清空数据。

5.2 解决用户权限问题

创建专用用户 hadoop 并赋予权限：

sudo useradd hadoop
sudo passwd hadoop

在 hadoop-env.sh 末尾指定服务运行用户：

export HDFS_NAMENODE_USER="hadoop"
export HDFS_DATANODE_USER="hadoop"
export YARN_RESOURCEMANAGER_USER="hadoop"
export YARN_NODEMANAGER_USER="hadoop"

5.3 修正 JAVA_HOME 路径

切换到 hadoop 用户后，若报错 JAVA_HOME is not set，需查找精确路径：

find /usr/lib/jvm -name java-1.8.0-openjdk*

更新 hadoop-env.sh 中的 JAVA_HOME 为完整路径。

5.4 日志目录权限

若无法创建日志目录，需修改 Hadoop 目录所有权：

sudo chown -R hadoop:hadoop /usr/local/hadoop

5.5 验证集群状态

所有问题解决后，重新格式化并启动：

su hadoop
hdfs namenode -format
start-dfs.sh
start-yarn.sh

使用 jps 查看进程，应包含 NameNode, DataNode, ResourceManager 等。

Web UI 验证：

• HDFS: http://localhost:9870
• YARN: http://localhost:8088

命令行测试：

hdfs dfs -mkdir /test
echo "Hello Hadoop" > test.txt
hdfs dfs -put test.txt /test
hdfs dfs -ls /test
hdfs dfs -cat /test/test.txt

六、Hadoop 核心概念与后续步骤

6.1 Hadoop 核心构成

Hadoop 主要解决两大问题：

1. 海量数据存储：通过 HDFS 将大文件切块并多副本存储，提供高容错性。
2. 海量数据计算：通过 MapReduce 模型和 YARN 资源框架，实现'计算向数据移动'。

6.2 准备实际应用

可使用 MovieLens 数据集进行练习：

wget https://files.grouplens.org/datasets/movielens/ml-latest-small.zip
unzip ml-latest-small.zip
cd ml-latest-small

上传数据至 HDFS 后即可编写 MapReduce 程序进行分析。

总结

通过以上步骤，已在 VMware 虚拟机中成功搭建 Hadoop 伪分布式环境。过程中解决了权限配置、网络 DNS、环境变量及日志目录等常见问题。该环境为后续学习 MapReduce 编程及探索大数据生态打下了坚实基础。