前言
本文档旨在提供一个全面、细致的 Hadoop 部署教程,覆盖从基础环境准备到 Hadoop 伪分布式集群成功运行的每一个环节。内容严格遵循新手友好的原则,对每一步操作、每一条命令以及可能遇到的问题进行深入剖析,确保初学者能够顺利完成部署。整个过程将在 VMware Workstation Pro 虚拟机环境中,使用 CentOS 7.9 操作系统进行。
第一章:基础环境搭建——虚拟机与操作系统的准备
部署任何复杂的系统,一个稳定可靠的基础环境是成功的基石。本章将详细介绍如何准备用于 Hadoop 集群的虚拟机环境,包括 VMware 的配置和 CentOS 7 操作系统的安装。
1.1 系统镜像下载
首先,需要获取 CentOS 7.9 的 ISO 镜像文件,这是我们将要安装在虚拟机中的操作系统。可以通过访问 CentOS 的官方归档库来下载。
访问链接:CentOs 7.9 归档库
在该页面中,找到并点击名为 CentOS-7-x86_64-DVD-2009.iso 的文件进行下载。这个 DVD 版本包含了完整的软件包,便于后续安装。
1.2 创建新的 VMware 虚拟机
下载完 ISO 镜像后,打开 VMware Workstation Pro,开始创建新的虚拟机。
为虚拟机命名并选择存储位置。强烈建议将虚拟机文件存储在非系统盘(如 D 盘),以避免占用 C 盘空间,影响宿主机性能。
进入'简易安装信息'界面。这里可以预设一个用户账户和密码,VMware 会在安装过程中自动创建。为了方便管理,可以设置一个容易记忆的用户名和密码。
选择镜像文件后,VMware 会识别出操作系统类型。点击'下一步'。
在'安装来源'步骤,选择'安装程序光盘映像文件 (iso)',然后点击'浏览',定位到刚刚下载的 CentOS-7-x86_64-DVD-2009.iso 文件。
在虚拟机硬件兼容性选择界面,保持默认的 Workstation 16.2.x 或更高版本。这确保了较好的硬件支持和性能。点击'下一步'。
向导类型选择'典型'即可,点击'下一步'。
在 VMware 主界面,点击'创建新的虚拟机'按钮,启动新建虚拟机向导。
1.3 配置虚拟机硬件资源
硬件资源的分配直接影响虚拟机的运行效率,特别是对于 Hadoop 这样需要消耗较多计算和内存资源的系统。
完成创建:最后,向导会展示所有配置的摘要。如果需要调整,可以点击'自定义硬件'。确认无误后,点击'完成'。
磁盘文件位置:保持默认即可,点击'下一步'。
磁盘容量:指定磁盘大小为 30GB,并选择'将虚拟磁盘拆分成多个文件'。30GB 对于安装操作系统、JDK、Hadoop 以及存储少量测试数据是足够的。拆分文件有助于在不同文件系统的磁盘间移动虚拟机。
创建新虚拟磁盘:选择'创建新虚拟磁盘',因为这是一台全新的虚拟机。
磁盘类型:保持默认的


