跳到主要内容 Ubuntu 下安装 Hadoop 伪分布式环境详细步骤 | 极客日志
Java java
Ubuntu 下安装 Hadoop 伪分布式环境详细步骤 本文详细记录了在 Ubuntu 系统上搭建 Hadoop 伪分布式环境的步骤,涵盖用户创建、SSH 免密配置、JDK 安装与环境变量设置、Hadoop 解压部署及核心配置文件修改,并提供了启动验证与故障排查方法。
ServerBase 发布于 2026/3/28 更新于 2026/4/15 2 浏览在 Ubuntu 中安装 Hadoop 的详细过程
请自行安装 Ubuntu 系统。
一、创建 hadoop 用户
如果在安装 Ubuntu 的时候不是用的'hadoop'用户,这时需要增加一个名为 hadoop 的用户。
首先打开终端窗口,输入如下命令创建新用户:
sudo useradd -m hadoop -s /bin/bash
接着使用如下命令设置密码,按提示输入两次密码:
sudo passwd hadoop
可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较困难的权限问题:
最后注销当前用户(点击屏幕右上角的齿轮,选择注销),返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆。
二、更新 apt 用 hadoop 用户登录后,我们要先更新一下 apt,后续我们会使用 apt 安装软件。打开终端窗口,输入如下命令:
执行这个命令时,会让你输入 hadoop 用户的密码。
三、安装 vim 后续需要更改一些配置文件,我这里使用的是 vim,使用如下命令进行安装 vim:
四、安装 SSH、配置 SSH 无密码登陆 集群、单节点模式都需要用到 SSH 登陆,Ubuntu 默认已安装了 SSH client,但还需要安装 SSH server,命令如下:
sudo apt-get install openssh-server
输入该命令会有如下提示 (SSH 首次登陆提示),这时按照提示输入 yes。然后按提示输入密码,这样就登陆到本机了。
但是这样登陆每次都需要输入密码,所以我们需要配置成 SSH 无密码登陆。
首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
exit
cd ~/.ssh/
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys
五、安装 Java 环境 我这里使用的共享方式安装的 JDK。
首先点击虚拟机设置,点击选项,再点击共享文件夹,选择总是启用或者是在下次关机或挂起前一直启用。
然后点击下一步,添加共享文件夹向导,选择浏览,选择主机路径,设置名称(名称可不改,看自己命名习惯),再点击下一步,再点击完成,最后点击确定,共享文件夹就设置成功了。
接下来进入共享文件夹,ls 显示该文件夹的内容列表:
根据自己文件夹的实际地址进入,我这里的文件夹是 BaiduNetdiskDownload:
cd BaiduNetdiskDownload/
ls
接下来进行安装 java 环境,先返回主目录,安装 jdk,我这里安装的是 JDK1.8:
cd /usr/lib
sudo mkdir jvm
cd ~
cd /mnt/hgfs
ls
cd BaiduNetdiskDownload/
ls
sudo tar -zxvf ./jdk-8u371-linux-x64.tar.gz -C /usr/lib/jvm
JDK 文件解压缩以后,可以使用如下命令去查看一下:
然后接下来进行设置环境变量,使用 vim 进行编辑:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_371
export JRE_HOME=${JAVA_HOME} /jre
export CLASSPATH=.:${JAVA_HOME} /lib:${JRE_HOME} /lib
export PATH=${JAVA_HOME} /bin:$PATH
添加完成后保存退出编辑,然后使用下面的命令使其立即生效:
六、安装 Hadoop3.3.5 进行安装 Hadoop,这里依然选择用共享文件夹的方式进行安装,根据上一部分的做法进入共享文件夹:
cd /mnt/hgfs
ls
cd BaiduNetdiskDownload/
ls
sudo tar -zxvf ./hadoop-3.3.5.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hadoop-3.3.5/ ./hadoop
sudo chown -R hadoop ./hadoop
cd /usr/local/hadoop
./bin/hadoop version
接下来进行 Hadoop 伪分布式配置,首先修改配置文件 core-site.xml,输入如下命令:
vim ./etc/hadoop/core-site.xml
<configuration >
<property >
<name > hadoop.tmp.dir</name >
<value > file:/usr/local/hadoop/tmp</value >
<description > A base for other temporary directories.</description >
</property >
<property >
<name > fs.defaultFS</name >
<value > hdfs://localhost:9000</value >
</property >
</configuration >
接下来修改配置文件 hdfs-site.xml,输入 vim ./etc/hadoop/hdfs-site.xml
修改成如下内容:
<configuration >
<property >
<name > dfs.replication</name >
<value > 1</value >
</property >
<property >
<name > dfs.namenode.name.dir</name >
<value > file:/usr/local/hadoop/tmp/dfs/name</value >
</property >
<property >
<name > dfs.datanode.data.dir</name >
<value > file:/usr/local/hadoop/tmp/dfs/data</value >
</property >
</configuration >
将以上内容配置完成后,执行 NameNode 的格式化,输入如下命令:
cd /usr/local/hadoop
./bin/hdfs namenode -format
接着开启 NameNode 和 DataNode 守护进程:
cd /usr/local/hadoop
./sbin/start-dfs.sh
启动完成后,可以输入 jps 判断是否成功启动,启动成功则显示如下内容:
若是 DataNode 没有启动成功的话,可以做如下尝试:
cd /usr/local/hadoop
./sbin/stop-dfs.sh
rm -r ./tmp
./bin/hdfs namenode -format
./sbin/start-dfs.sh
注意:下次启动 hadoop 时,无需进行 NameNode 的初始化,只需要运行 ./sbin/start-dfs.sh 就可以了。
微信扫一扫,关注极客日志 微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
相关免费在线工具 Keycode 信息 查找任何按下的键的javascript键代码、代码、位置和修饰符。 在线工具,Keycode 信息在线工具,online
Escape 与 Native 编解码 JavaScript 字符串转义/反转义;Java 风格 \uXXXX(Native2Ascii)编码与解码。 在线工具,Escape 与 Native 编解码在线工具,online
JavaScript / HTML 格式化 使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。 在线工具,JavaScript / HTML 格式化在线工具,online
JavaScript 压缩与混淆 Terser 压缩、变量名混淆,或 javascript-obfuscator 高强度混淆(体积会增大)。 在线工具,JavaScript 压缩与混淆在线工具,online
Base64 字符串编码/解码 将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
Base64 文件转换器 将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online