在 Ubuntu 24 系统下，针对 MS-S1 MAX 和 AI MAX 395 硬件，通过安装 AMD GPU 驱动、ROCm 环境及调整 GRUB 参数解锁显存，最终利用 Vulkan 版 llama.cpp 成功运行 gpt-oss 120b 大模型的完整流程。包含驱动安装、显存解锁、模型下载及服务启动步骤，并通过 amdgpu_top 验证 GPU 加速效果。
wget https://repo.radeon.com/amdgpu-install/7.1.1/ubuntu/noble/amdgpu-install_7.1.1.70101-1_all.deb
sudo apt install ./amdgpu-install_7.1.1.70101-1_all.deb
sudo apt update
sudo apt install "linux-headers-$(uname -r)" "linux-modules-extra-$(uname -r)"
sudo apt install amdgpu-dkms
sudo apt install python3-setuptools python3-wheel
sudo usermod -a -G render,video $LOGNAME
sudo apt install rocm
vim /etc/default/grub
# 设置 GRUB_CMDLINE_LINUX_DEFAULT="quiet splash amd_iommu=off ttm.pages_limit=27648000 ttm.page_pool_size=27648000 amdttm.pages_limit=27648000 amdttm.page_pool_size=27648000 apparmor=0"
update-grub
重启生效。
sudo apt install vulkan-tools
wget https://github.com/ggml-org/llama.cpp/releases/download/b7503/llama-b7503-bin-ubuntu-vulkan-x64.tar.gz
# 解压并进入目录
tar -xzf llama-b7503-bin-ubuntu-vulkan-x64.tar.gz
cd llama-b7503-bin-ubuntu-vulkan-x64
从 Hugging Face Mirror 获取模型（例如：ggml-org/gpt-oss-120b-GGUF），并将文件下载到 ~/.cache/llama.cpp/ 目录。
启动服务：
./llama-server -hf ggml-org/gpt-oss-120b-GGUF -c 0 --jinja
sudo dpkg -i amdgpu-top_0.11.0-1_amd64.deb
sudo amdgpu_top
如果 Token 生成速度仅为二十几，说明未启用 GPU 加速。
可通过 amdgpu_top 验证 GPU 使用情况。
注意：若需从其他电脑访问，请增加参数 --host 0.0.0.0。具体参考 llama.cpp 服务器文档。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML 转 Markdown 互为补充。 在线工具，Markdown 转 HTML在线工具，online