MetaLlama 大模型从入门到部署实战指南

模型转换

通过对模型进行转化，可以降低资源消耗。

# obtain the original LLaMA model weights and place them in ./models
ls ./models
# 65B 30B 13B 7B tokenizer_checklist.chk tokenizer.model

# install Python dependencies
python3 -m pip install -r requirements.txt

# convert the 7B model to ggml FP16 format
python3 convert.py models/7B/

# [Optional] for models using BPE tokenizers
python convert.py models/7B/ --vocabtype bpe

# quantize the model to 4-bits (using q4_0 method)
./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q4_0.gguf q4_0

# update the gguf filetype to current if older version is unsupported by another application
./quantize ./models/7B/ggml-model-q4_0.gguf ./models/7B/ggml-model-q4_0-v2.gguf COPY

# run the inference
./main -m ./models/7B/ggml-model-q4_0.gguf -n 128

此步可以省略，直接下载别人转换好的量化模型即可。

运行模式

命令行交互模式：

./main -m ./models/llama-2-7b.Q4_0.gguf -i -n 256 --color

开启 server 模式，访问 API：

./server -m ./models/llama-2-7b.Q4_0.gguf

llama-cpp-python

pip install llama-cpp-python

mac m1 上构建的时候需要加上特殊的参数：

CMAKE_ARGS="-DLLAMA_METAL=on -DCMAKE_OSX_ARCHITECTURES=arm64" FORCE_CMAKE=1 pip install -U llama-cpp-python --no-cache-dir --force-reinstall

启动 API 模式

pip install llama-cpp-python[server]
python -m llama_cpp.server --model models/llama-2-7b.Q4_0.gguf
python -m llama_cpp.server --model models/llama-2-7b.Q4_0.gguf --n_gpu_layers 1

访问文档可以看到 API 的文档，与 OpenAI 兼容。

Ollama

• 官网
• GitHub
• Docker

ollama serve codellama:7b

日志输出示例：

2023/10/08 02:31:04 images.go:987: total blobs: 6
2023/10/08 02:31:04 images.go:994: total unused blobs removed: 0
2023/10/08 02:31:04 routes.go:535: Listening on 127.0.0.1:11434

基于 LangChain 使用 Llama

使用 LangChain 调用本地模型

def test_llama_cpp_local():
    """
    使用本地模型
    :return:
    """
    from langchain.llms import LlamaCpp
    llm = LlamaCpp(
        model_path="/Users/seveniruby/projects/llama.cpp/models/llama-2-7b.Q4_0.gguf",
        n_ctx=2048,
        n_threads=4
    )
    output = llm("Q: 法国的首都在哪里\n A: ", echo=True, max_tokens=6, temperature=0)
    print(output)

使用 LangChain 结合 API 服务

def test_llama_api():
    from langchain.llms import OpenAI
    # 配置为兼容 OpenAI 格式的本地 API
    llm = OpenAI(
        openai_api_key="sk-", 
        openai_api_base="http://localhost:8000/v1"
    )
    output = llm("Q: 法国的首都在哪里\n A: ")
    print(output)

基于 LangChain 与 Hugging Face

def test_pipeline():
    from transformers import pipeline
    pipe = pipeline(
        "text-generation",
        model="meta-llama/Llama-2-7b-hf",
        torch_dtype=torch.float16,
        device='mps',  # 按需改成你的 cuda 或者 cpu
        revision='main',
    )
    print(pipe('法国的首都在哪里'))

部署建议与注意事项

1. 硬件要求：量化后的模型（如 Q4_0）可以在消费级显卡甚至 CPU 上运行，但推理速度会受限于内存带宽。建议至少配备 8GB 显存以流畅运行 7B 模型。
2. 安全合规：Code Llama 等模型生成的代码可能受第三方许可约束，使用时请注意版权风险。同时，应用安全缓解措施以防止生成有害内容。
3. 上下文长度：不同模型支持的上下文窗口不同，Code Llama 支持 16k 标记序列，部分变体支持更长。请根据任务需求选择合适的模型版本。
4. 持续更新：大模型技术迭代迅速，建议关注官方仓库以获取最新的模型权重和修复补丁。