上手 Llama 3：推理与 LoRA 微调实践

用 llama.cpp 打 GGUF 量化部署

资源紧张的时候，转成 GGUF 格式，CPU 也能跑，内存占用小很多。

先下载量化文件：

wget -c "https://huggingface.co/TheBloke/Llama-3-8B-Instruct-GGUF/resolve/main/meta-llama-3-8b-instruct.Q5_K_M.gguf" -O /mnt/workspace/model.gguf

克隆仓库直接推理：

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j && ./main -m /mnt/workspace/model.gguf -n 512 --color -i -cml

或者用 Python 绑定的 llama_cpp-python：

from llama_cpp import Llama

llm = Llama(
    model_path="./model.gguf",
    verbose=True,
    n_ctx=8192
)

input_text = "<|start_header_id|>user<|end_header_id|>\nHi, how are you?\n<|eot_id|>"
output = llm(
    input_text,
    temperature=0.8,
    top_k=50,
    max_tokens=256,
    stop=["<|eot_id|>"]
)
print(output["choices"][0]["text"])

生产环境追求吞吐量的话，上 vLLM 或 TGI，PagedAttention 一开，效率提升明显。

LoRA 微调：拿 LeetCode 练手

微调框架很多，这里用 ModelScope 的 Swift，走 LoRA 路线。

先装环境：

git clone https://github.com/modelscope/swift.git
cd swift
pip install .[llm]

用 LeetCode 数据集做代码解题微调，双卡配置按下面来：

nproc_per_node=2
NPROC_PER_NODE=$nproc_per_node \
MASTER_PORT=29500 \
CUDA_VISIBLE_DEVICES=0,1 \
swift sft \
    --model_id_or_path meta-llama/Meta-Llama-3-8B-Instruct \
    --model_revision main \
    --sft_type lora \
    --tuner_backend peft \
    --template_type llama3 \
    --dtype AUTO \
    --output_dir output \
    --ddp_backend nccl \
    --dataset leetcode-python-en \
    --train_dataset_sample -1 \
    --num_train_epochs 2 \
    --max_length 2048 \
    --check_dataset_strategy warning \
    --lora_rank 8 \
    --lora_alpha 32 \
    --lora_dropout_p 0.05 \
    --lora_target_modules ALL \
    --gradient_checkpointing true \
    --batch_size 1 \
    --weight_decay 0.1 \
    --learning_rate 1e-4 \
    --gradient_accumulation_steps $(expr 16 / $nproc_per_node) \
    --max_grad_norm 0.5 \
    --warmup_ratio 0.03 \
    --eval_steps 100 \
    --save_steps 100 \
    --save_total_limit 2 \
    --logging_steps 10 \
    --save_only_model true

用自己数据的话，指定 JSONL 文件就行：

--custom_train_dataset_path xxx.jsonl \
--custom_val_dataset_path yyy.jsonl

格式按标准对话来：

{"messages": [{"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]}

微调完，加载 checkpoint 跑推理：

CUDA_VISIBLE_DEVICES=0 \
swift infer \
    --ckpt_dir "output/llama3-8b-instruct/vx-xxx/checkpoint-xxx" \
    --load_dataset_config true \
    --use_flash_attn true \
    --max_new_tokens 2048 \
    --temperature 0.1 \
    --top_p 0.7 \
    --repetition_penalty 1. \
    --do_sample true \
    --merge_lora false

最后

Llama 3 把开源大模型的门槛又拉高了一截。推理优化和微调方案已经很成熟，往垂直场景里落地的坑会越来越少。实际部署时注意看使用协议，该测的偏见和安全风险别省，生产环境多验证几轮再上线。