AMD 显卡 llama.cpp 高性能配置与调优实战

这个配置的核心在于平衡显存占用和主机可见性，防止频繁的数据拷贝开销。

核心参数调校

通过修改源码或编译选项，可以显著提升推理速度。例如在 src/llama.cpp 中关注异步传输和共享内存设置：

// 在 src/llama.cpp 中添加 AMD 优化配置
struct amd_optimize_config {
    bool enable_async_transfer = true;
    int compute_units_override = 0; // 0 表示自动检测
    bool use_shared_memory = true;
    float memory_compression_ratio = 0.75f;
};

实际运行时，开启异步传输能有效掩盖 PCIe 通信延迟，这对多卡或高负载场景尤为重要。

性能对比数据

优化前后的性能对比显示提升显著：

实战配置：针对不同架构

RDNA2 架构 (RX 6000 系列)

针对 RDNA2 架构的优化配置，重点在于工作群组大小的设定：

./main -m model.gguf -p "你的提示词" \
--backend vulkan \
--vulkan-device 0 \
--vulkan-queue-count 4 \
--vulkan-workgroup-size 256

RDNA3 架构 (RX 7000 系列)

RDNA3 支持更高效的张量拆分，建议启用 GPU 层数最大化：

./main -m model.gguf \
--gpu-layers 35 \
--main-gpu 0 \
--tensor-split 1.0

问题排查：常见故障修复

驱动兼容性问题

症状：程序启动时崩溃，显示 "vkCreateInstance failed"。

解决方案：更新 AMD Vulkan 驱动并验证安装：

# 更新 AMD Vulkan 驱动
sudo apt install mesa-vulkan-drivers mesa-opencl-icd
# 验证安装
vulkaninfo --summary

内存不足问题

症状：模型加载卡在 50% 左右。

解决方案：减少 GPU 层数，强制部分计算回退到 CPU：

./main -m model.gguf --n-gpu-layers 25

性能异常问题

症状：推理速度远低于预期。

解决方案：强制指定 Radeon ICD 文件路径，避免系统默认选择错误：

export VK_ICD_FILENAMES="/usr/share/vulkan/icd.d/radeon_icd.x86_64.json"

监控与调优

实时观察 GPU 状态对于长期运行至关重要。可以使用 rocm-smi 编写一个简单的监控脚本：

#!/bin/bash
while true; do
    GPU_USAGE=$(rocm-smi --showuse | grep "GPU use" | awk '{print $3}')
    MEMORY_USAGE=$(rocm-smi --showmemuse | grep "GPU memory use" | awk '{print $4}')
    echo "GPU 使用率：$GPU_USAGE% | 显存使用：$MEMORY_USAGE%"
    sleep 2
done

持续监控能帮助你及时发现显存泄漏或调度异常。记住，没有一劳永逸的配置，根据具体硬件和模型规模进行微调才是保持最佳性能的关键。