AMD 显卡上 llama.cpp 的性能调优手记

device_local_ratio 设成 0.8 能更激进地使用显存，但 32G 不到的卡别这么玩，容易 OOM。我在 RX 6800 XT 上跑 13B 模型，这个值可以到 0.75 比较稳妥。

运行时参数调整

如果不想动源码，启动参数直接影响推理速度。下面是一些常用的组合：

# RX 6800 XT 上跑 13B 的典型配置
./main -m model.gguf -p "你的提示词" \
--backend vulkan \
--vulkan-device 0 \
--n-gpu-layers 35 \
--vulkan-queue-count 4 \
--vulkan-workgroup-size 256

• --n-gpu-layers 设成 35 基本把整个模型怼进显存，速度快一截。
• --vulkan-queue-count 调成 4 在 RDNA2 上表现不错，再大意义不大。
• --vulkan-workgroup-size 256 是这代卡的一个甜点值。

至于代码层的调优，可以参照下面这个 struct 自己改 src/llama.cpp，但通常不必要：

struct amd_optimize_config {
    bool enable_async_transfer = true;
    int compute_units_override = 0; // 0 表示自动检测
    bool use_shared_memory = true;
    float memory_compression_ratio = 0.75f;
};

实测速度

下面是我在 RX 6800 XT 上跑不同模型得到的数据，优化前指的是默认参数，优化后是用了上述内存配置和运行时参数：

70B 模型其实已经爆显存了，全靠内存这边扛着，所以绝对值低，但相对提升依然明显。

按显卡系列微调

RX 6000 系列 (RDNA2)

上面的参数基本就是为这个系列试出来的，额外可以试一下 --tensor-split 1.0 强制所有张量放一块卡上（多卡才需要切）。

RX 7000 系列 (RDNA3)

新架构的 workgroup 优化有所不同，有些反馈把 --vulkan-workgroup-size 设成 128 反而更快。可以自己对比一下：

./main -m model.gguf \
--gpu-layers 40 \
--main-gpu 0 \
--tensor-split 1.0 \
--vulkan-workgroup-size 128

常见问题

启动时报 vkCreateInstance failed

十有八九是 Vulkan 驱动没装全或用户组权限问题。执行：

sudo apt install mesa-vulkan-drivers mesa-opencl-icd
vulkaninfo --summary

确认没有报错。如果还不行，检查 VK_ICD_FILENAMES 环境变量是否指向正确的 ICD 文件。

模型加载到一半卡住

显存不够，--n-gpu-layers 设得太高了。先降一些，比如先试 25，看能否完整加载，再慢慢往上加。

推理速度明显不如预期

先跑一下 rocm-smi --showuse（如果有 ROCm）或 nvtop，看 GPU 占用率。如果占用率低，检查 --vulkan-device 是否指向了正确的卡，或者尝试 --vulkan-queue-count 稍微调高。

实时监控

我平时会在另一个终端跑个小脚本，随时看 GPU 和显存状态：

#!/bin/bash
while true; do
    GPU_USAGE=$(rocm-smi --showuse 2>/dev/null | grep "GPU use" | awk '{print $3}')
    MEMORY_USAGE=$(rocm-smi --showmemuse 2>/dev/null | grep "GPU memory use" | awk '{print $4}')
    echo "GPU 使用率：$GPU_USAGE% | 显存使用：$MEMORY_USAGE%"
    sleep 2
done

没有 ROCm 的卡就用 radeontop 或者看 /sys/class/drm/card*/device/gpu_busy_percent。