MS-S1 MAX 与 AI MAX 395 在 Ubuntu 24 使用 Vulkan llama.cpp 运行 GPT-OSS 120B

MS-S1 MAX 与 AI MAX 395 在 Ubuntu 24 使用 Vulkan llama.cpp 运行 GPT-OSS 120B | 极客日志

wget https://repo.radeon.com/amdgpu-install/7.1.1/ubuntu/noble/amdgpu-install_7.1.1.70101-1_all.deb
sudo apt install ./amdgpu-install_7.1.1.70101-1_all.deb
sudo apt update
sudo apt install "linux-headers-$(uname -r)" "linux-modules-extra-$(uname -r)"
sudo apt install amdgpu-dkms
sudo apt install python3-setuptools python3-wheel
sudo usermod -a -G render,video $LOGNAME
sudo apt install rocm

vim /etc/default/grub
# 设置保存 GRUB_CMDLINE_LINUX_DEFAULT="quiet splash amd_iommu=off ttm.pages_limit=27648000 ttm.page_pool_size=27648000 amdttm.pages_limit=27648000 amdttm.page_pool_size=27648000 apparmor=0"
update-grub

sudo apt install vulkan-tools

wget https://github.com/ggml-org/llama.cpp/releases/download/b7503/llama-b7503-bin-ubuntu-vulkan-x64.tar.gz
# 进入目录
# 去 HuggingFace Mirror 中找自己想要部署的模型，里边有运行命令
./llama-server -hf ggml-org/gpt-oss-120b-GGUF -c 0 --jinja
# 文件下载到 ~/.cache/llama.cpp/ 目录中

sudo dpkg -i amdgpu-top_0.11.0-1_amd64.deb
sudo amdgpu_top

MS-S1 MAX 与 AI MAX 395 在 Ubuntu 24 使用 Vulkan llama.cpp 运行 GPT-OSS 120B

1. 安装 AMD GPU 驱动和 ROCm

2. 通过 GTT 解锁 96G 显存

3. 安装 Vulkan

4. 下载 llama.cpp release

5. 安装 amdgpu_top

6. 最终效果

更多推荐文章

相关免费在线工具

MS-S1 MAX 与 AI MAX 395 在 Ubuntu 24 使用 Vulkan llama.cpp 运行 GPT-OSS 120B

1. 安装 AMD GPU 驱动和 ROCm

2. 通过 GTT 解锁 96G 显存

3. 安装 Vulkan

4. 下载 llama.cpp release

5. 安装 amdgpu_top

6. 最终效果

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具