Llama-3.2V-11B-COT 部署教程：NVIDIA A10/A100/V100 多卡 GPU 适配

torch_dtype=torch.float16 可节省近一半显存，device_map="auto" 自动处理 CPU/GPU 分布。

3. 多卡 GPU 部署与优化实践

3.1 方法一：使用 device_map="auto"

最简单的方法。设置环境变量指定 GPU：

export CUDA_VISIBLE_DEVICES=0,1

代码中保持 device_map="auto"，accelerate 会自动拆分模型层。可通过 print(model.hf_device_map) 检查映射。

3.2 方法二：使用 accelerate 高级配置

需更精细控制资源时，使用 accelerate。

accelerate config

from accelerate import Accelerator

accelerator = Accelerator()
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    device_map=None,
    trust_remote_code=True
)
model = accelerator.prepare(model)

3.3 针对不同 GPU 的优化建议

NVIDIA A100 (80GB)

• 单卡可运行 fp16 模型。优先尝试单卡，或使用 torch.compile 加速。

NVIDIA A100 (40GB) / V100 (32GB/16GB)

• 单卡可能无法容纳 fp16 模型。建议使用双卡 device_map="auto"。
• 若单卡必须运行，需使用 8 位量化 (bitsandbytes)。

NVIDIA A10 (24GB)

• 推荐双卡运行 fp16。
• 单卡必须使用 8 位量化，显存需求降至约 11GB。

4. 快速上手与效果测试

编写脚本 test_inference.py：

from transformers import AutoProcessor, AutoModelForCausalLM
from PIL import Image
import torch

model_path = "./Llama-3.2V-11B-cot"
processor = AutoProcessor.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True
)

image_path = "test_image.jpg"
image = Image.open(image_path).convert('RGB')
question = "Describe what is happening in this image and explain why."

prompt = f"A chat between a curious human and an AI assistant. The assistant gives helpful, detailed, and polite answers to the human's questions. USER: <image>\n{question} ASSISTANT:"
inputs = processor(images=image, text=prompt, return_tensors="pt").to(model.device)

print("正在生成回答，请稍候…")
with torch.no_grad():
    generated_ids = model.generate(**inputs, max_new_tokens=300, do_sample=True, temperature=0.7)
    generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

answer_start = generated_text.find("ASSISTANT:") + len("ASSISTANT: ")
print(generated_text[answer_start:])

运行 python test_inference.py。

5. 常见问题与排错指南

问题 1：OutOfMemoryError (OOM)

• 确保使用 torch.float16。
• 尝试 8 位量化 (load_in_8bit)。
• 增加 GPU 数量或减少 max_new_tokens。

问题 2：加载慢或卡住

• 提前下载模型至本地。
• 检查网络。
• 多卡首次运行平衡权重属正常现象。

问题 3：多卡只占用一张卡

• 确保 device_map="auto"。
• 检查 CUDA_VISIBLE_DEVICES 环境变量。
• 打印 model.hf_device_map 验证。

问题 4：输出格式错误

• 检查 Prompt 格式是否符合模型训练模板（USER/ASSISTANT 结构）。

6. 总结

1. 环境基础：Conda 管理 Python/CUDA 环境。
2. 半精度标配：务必使用 torch_dtype=torch.float16。
3. 多卡策略：device_map="auto" + CUDA_VISIBLE_DEVICES 最直接有效。
4. 硬件适配：
   • A100 80GB：单卡 fp16。
   • A100 40GB/V100 32GB：双卡 fp16 或单卡量化。
   • A10 24GB：双卡 fp16 或单卡量化。
5. 量化救星：显存不足时使用 bitsandbytes 进行 8 位或 4 位量化。