AMD 显卡部署 llama.cpp 高性能配置实战

核心参数调校

在源码层面，可以通过结构体定义来管理优化项，例如在 src/llama.cpp 附近添加配置逻辑：

// 在 src/llama.cpp 中添加 AMD 优化配置
struct amd_optimize_config {
    bool enable_async_transfer = true;
    int compute_units_override = 0; // 0 表示自动检测
    bool use_shared_memory = true;
    float memory_compression_ratio = 0.75f;
};

实际运行中，开启异步传输通常能减少 CPU-GPU 等待时间。

性能参考数据

根据常见硬件测试，合理配置后的提升幅度如下（仅供参考）：

针对不同架构的精细化设置

不同代际的 RDNA 架构需要不同的启动参数。

RX 6000 系列配置

针对 RDNA2 架构，建议增加工作线程组数量：

./main -m model.gguf -p "你的提示词" \
--backend vulkan \
--vulkan-device 0 \
--vulkan-queue-count 4 \
--vulkan-workgroup-size 256

RX 7000 系列配置

RDNA3 架构支持更多层数卸载到 GPU，可尝试以下参数：

./main -m model.gguf \
--gpu-layers 35 \
--main-gpu 0 \
--tensor-split 1.0

问题排查与监控

常见故障修复

驱动兼容性问题 症状：程序启动崩溃，报错 vkCreateInstance failed。 解决方案：更新 Mesa Vulkan 驱动并验证安装。

sudo apt install mesa-vulkan-drivers mesa-opencl-icd
vulkaninfo --summary

内存不足问题 症状：模型加载卡在 50% 左右。 解决方案：减少卸载到 GPU 的层数。

./main -m model.gguf --n-gpu-layers 25

性能异常 症状：推理速度远低于预期。 解决方案：强制指定 Radeon ICD 文件路径。

export VK_ICD_FILENAMES="/usr/share/vulkan/icd.d/radeon_icd.x86_64.json"

实时监控

使用 ROCm 工具链监控资源占用，创建一个简单的监控脚本 performance_monitor.sh：

#!/bin/bash
while true; do
    GPU_USAGE=$(rocm-smi --showuse | grep "GPU use" | awk '{print $3}')
    MEMORY_USAGE=$(rocm-smi --showmemuse | grep "GPU memory use" | awk '{print $4}')
    echo "GPU 使用率：$GPU_USAGE% | 显存使用：$MEMORY_USAGE%"
    sleep 2
done

持续监控有助于发现潜在的瓶颈点，根据实际情况动态调整参数是保持最佳性能的关键。