DCU BW1000 环境下 llama.cpp 推理 Qwen3-Coder-30B 实践与问题排查

从分析结果看，显存不足以支持专家卸载（Expert Offloading），模型需溢出至系统内存，这会导致性能显著下降。建议量化版本选择 Q8_0。

编译 llama.cpp

下载官方源码并编译：

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp cmake -B build cmake --build build --config Release

安装完成后，需要将二进制路径加入环境变量，否则运行时会找不到共享库：

export PATH=/root/llama.cpp/build/bin:$PATH

若遇到 libmtmd.so.0 或 libggml-base.so.0 缺失报错，通常是因为未正确设置 PATH。确认路径后，执行 llama-cli 或 llama-gguf 即可正常调用。

模型下载

使用 ModelScope 下载模型文件：

from modelscope import snapshot_download
snapshot_download('tclf90/Qwen3-Coder-30B-A3B-Instruct-AWQ', cache_dir="models")

注意：目标模型在魔搭社区可能不存在，实际使用的是 tclf90 仓库下的同名模型，需确保路径匹配。

推理尝试

方案一：llama-cli

直接使用命令行推理：

llama-cli -m models/tclf90/Qwen3-Coder-30B-A3B-Instruct-AWQ

报错信息：

Loading model... |gguf_init_from_file_impl: failed to read magic
llama_model_load: error loading model: llama_model_loader: failed to load model from models/tclf90/Qwen3-Coder-30B-A3B-Instruct-AWQ
...
Failed to load the model

原因分析： 模型文件路径或格式不匹配。llama.cpp 无法读取魔数，说明该路径下并非有效的 GGUF 格式文件，或者文件名与实际存储结构不符。

方案二：Transformers

尝试使用 Hugging Face Transformers 加载：

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "/root/models/tclf90/Qwen3-Coder-30B-A3B-Instruct-AWQ"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name, torch_dtype="auto", device_map="auto"
)
prompt = "Write a quick sort algorithm."
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(**model_inputs, max_new_tokens=65536)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
content = tokenizer.decode(output_ids, skip_special_tokens=True)
print("content:", content)

报错信息：

File .../quantizer_awq.py:48, in AwqQuantizer.validate_environment(self, **kwargs)
    raise ImportError(
        "Loading an AWQ quantized model requires gptqmodel. Please install it with `pip install gptqmodel`"
    )
ImportError: Loading an AWQ quantized model requires gptqmodel. Please install it with `pip install gptqmodel`

原因分析： 加载 AWQ 量化模型需要 gptqmodel 库支持。尝试安装时失败：

pip install gptqmodel
# Exception: Unable to detect torch version via uv/pip/conda/importlib...
ERROR: Failed to build 'gptqmodel' when getting requirements to build wheel

conda install gptqmodel
# PackagesNotFoundError: The following packages are not available from current channels

环境中的 PyTorch 版本或构建工具链不支持该库的编译，且 Conda 源中无对应包，导致无法解决依赖问题。

结论

本次在 DCU BW1000 上未能成功完成推理，主要受限于以下两点：

1. 模型文件不匹配：llama.cpp 无法识别指定路径下的模型文件，疑似 GGUF 格式或路径错误。
2. 依赖库冲突：transformers 加载 AWQ 量化模型强依赖 gptqmodel，当前环境无法编译或安装该依赖，且缺乏替代方案。

后续建议检查模型文件的实际格式，或寻找兼容当前环境的量化推理后端。