新版 llama.cpp 使用及本地部署 LLaMA 模型指南

下载 Llama 7B 模型：

python3 -m llama.download --model_size 7B

若遇到架构兼容报错（如 Mac M2），需手动构建 itree 库：

brew install cmake
pip3 install https://github.com/juncongmoo/itree/archive/refs/tags/v0.0.18.tar.gz

卸载旧版 pyllama 并源码安装：

pip3 uninstall pyllama
git clone https://github.com/juncongmoo/pyllama
pip3 install -e pyllama

再次运行下载命令。

2.1.3 脚本下载

使用自动化脚本下载：

#!/bin/bash
function stop_script() {
    echo "Stopping the script."
    exit 0
}
trap stop_script SIGINT
while true; do
    timeout 2000 python -m llama.download --model_size $1 --folder model
    echo "restart download"
    sleep 1
    read -t 1 -n 1 -s key
    if [[$key]]; then stop_script fi
done

运行脚本：

bash llama_download.sh 7B

2.2 格式转换

2.2.1 HF 格式转换

使用 HuggingFace 提供的脚本将原版 LLaMA 模型转换为 HuggingFace 格式：

git clone https://huggingface.co/luodian/llama-7b-hf ./models/Llama-7b-chat-hf

执行转换命令：

git clone https://github.com/huggingface/transformers.git
cd transformers
python src/transformers/models/llama/convert_llama_weights_to_hf.py \
--input_dir /workspace/pth_model/7B \
--model_size 7B \
--output_dir /workspace/hf_data

输出目录将包含 config.json、pytorch_model.bin 等 HF 格式文件。

2.2.2 合并 LoRA

使用 Chinese-LLaMA-Alpaca 脚本合并 LoRA 权重：

git clone https://github.com/ymcui/Chinese-LLaMA-Alpaca.git

合并脚本参数说明：

• --base_model: HF 格式模型目录
• --lora_model: LoRA 解压后目录
• --output_type: 输出格式 (pth 或 huggingface)
• --output_dir: 保存全量模型权重的目录

python scripts/merge_llama_with_chinese_lora.py \
--base_model /workspace/hf_data \
--lora_model /workspace/chinese_llama_lora_7B \
--output_dir /workspace/lora_pth_data

2.3 HF 转 GGUF 模型

使用 convert_hf_to_gguf.py 将模型转化为 GGUF 格式并进行量化：

# HF 版本转换
python convert_hf_to_gguf.py ../hf_data --outfile /workspace/chinese_gguf/llama-7b.gguf --outtype q8_0

# PTH 版本转换
python3 examples/convert_legacy_llama.py /workspace/lora_pth_data/ --outfile /workspace/chinese_gguf/chinese.gguf

使用 llama-quantize 进行精度转换：

llama-quantize /workspace/chinese_gguf/chinese.gguf /workspace/chinese_gguf/chinese_q4_0.gguf Q4_0

支持的量化类型包括 Q4_0, Q4_K_M, Q5_K_M, Q8_0 等，数值越小体积越小但精度略降。

3. 使用 llama.cpp 运行 GGUF 模型

下载模型文件放在 llama.cpp 项目 models 目录下，例如从 HuggingFace 获取 GGUF 版本：

git clone https://huggingface.co/rozek/LLaMA-2-7B-32K-Instruct_GGUF ./models/LLaMA-2-7B-32K-Instruct_GGUF

3.1 交互模式

通过 llama-cli 运行模型：

llama-cli -m chinese_q4_0.gguf -p "you are a helpful assistant" -cnv -ngl 24

参数说明：

• -m: 指定模型文件
• -cnv: 对话模式
• -ngl: GPU 层数卸载数量（编译支持 GPU 时有效）

3.2 模型 API 服务

使用 llama-server 启动 OpenAI API 兼容的服务：

./llama-server -m /mnt/workspace/my-llama-13b-q4_0.gguf -ngl 28

默认端口为 8080。可通过 curl 测试：

curl --request POST \
--url http://localhost:8080/completion \
--header "Content-Type: application/json" \
--data '{"prompt": "What color is the sun?", "n_predict": 512}'

也可使用 Python OpenAI SDK 访问：

import openai
client = openai.OpenAI(
    base_url="http://127.0.0.1:8080/v1",
    api_key="sk-no-key-required"
)
completion = client.chat.completions.create(
    model="qwen",
    messages=[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"tell me something about michael jordan"}]
)
print(completion.choices[0].message.content)

3.3 第三方 API 服务

使用 llama-cpp-python 提供 API 服务：

pip install llama-cpp-python
pip install sse_starlette starlette_context pydantic_settings
python -m llama_cpp.server --model models/Llama3-q8.gguf

4. 实现类似 ChatGPT 的聊天应用

借助开源项目打造本地聊天应用，推荐基于 Open WebUI 实现。Open WebUI 支持自托管、离线运行，兼容 Ollama 及 OpenAI 接口。

功能特性包括：直观界面、响应式设计、Markdown/LaTeX 支持、RAG 集成、多模态支持等。

使用 Docker 安装：

docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main

浏览器访问 http://localhost:3000/ 注册账号后即可使用。

5. 参考链接

• https://github.com/ggerganov/llama.cpp
• https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/llama.cpp 量化部署
• https://qwen.readthedocs.io/zh-cn/latest/run_locally/llama.cpp.html
• https://huggingface.co/models