AMD 显卡本地部署 AI 大模型实战指南
在 AMD GPU 上运行本地 AI 大模型并非难事,关键在于正确配置 ROCm 环境并使用适配的工具链。Ollama-for-amd 项目扩展了 AMD GPU 的支持,让 Llama 3、Mistral、Gemma 等主流模型能在本地流畅运行。下面分享具体的部署流程与调优经验。
硬件兼容性确认
并非所有 AMD 显卡都支持 AI 计算,建议先核对硬件列表。以下系列经过充分测试:
Linux 系统兼容显卡
- Radeon RX 系列:7900 XTX/XT、7800 XT、6950 XT 等消费级显卡
- Radeon PRO 系列:W7900/W7800、V620 等专业工作站显卡
- Instinct 加速卡:MI300X/A、MI250X 等数据中心级计算卡
Windows 系统兼容显卡
- Radeon RX 系列:7900 XTX/XT、7600 XT、6900 XTX 等
部署前必须确保已安装 ROCm SDK。Linux 推荐 v6.1+ 版本,Windows 同样需要 v6.1+ 版本,这是 AMD GPU 运行 AI 模型的必备基础。
环境搭建与编译
获取源码后,我们需要处理依赖并构建可执行文件。整个过程依赖 Go 语言环境(1.21+)。
首先克隆项目仓库到本地目录:
git clone <repository-url>
cd ollama-for-amd
接着处理依赖:
go mod tidy
该命令会自动拉取所需包,无需手动配置。
根据操作系统选择构建脚本。Linux 用户执行:
./scripts/build_linux.sh
Windows 用户在 PowerShell 中运行:
.\\\\\\scripts\\\\build_windows.ps1
构建完成后,可执行文件将生成在项目根目录。
验证与配置
安装成功后,先检查 GPU 识别状态:
./ollama run --list-gpus
若正确显示显卡信息,说明环境就绪。
对于多 GPU 环境,可通过环境变量指定设备。Linux 下设置:
export ROCR_VISIBLE_DEVICES=0,1
Windows 下设置:
set ROCR_VISIBLE_DEVICES=0
性能方面,可在 envconfig/config.go 中调整关键参数。例如 GPU 内存使用比例默认设为 0.9,可根据实际需求微调;架构版本也可通过 HSA_OVERRIDE_GFX_VERSION 指定,如 10.3.0。
故障排查
如果 GPU 未被识别,请检查 ROCm 驱动状态:
rocminfo | grep -i "gfx"
若输出为空,通常需要重新安装驱动。若模型加载过慢,尝试增加系统 swap 空间,或调整 llm/memory.go 中的内存分配策略。
模型运行
下载并启动首个模型(以 Llama 3 为例):
./ollama pull llama3
./ollama run llama3

