DeepSeek R1 与 Janus-Pro 本地部署高级教程

python -m venv venv
source venv/bin/activate  # Linux/Mac
venv\Scripts\activate     # Windows

安装项目依赖。如果遇到网络超时，可使用国内镜像源加速：

pip install -e .

或使用清华源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

四、实战演练：Janus-Pro 多模态推理

Janus-Pro 是一个多模态模型，支持图像理解与文生图功能。以下演示如何进行图片理解任务。

1. 代码示例

在项目目录下新建 inference.py，填入以下代码。请注意修改 model_path 为实际路径，并确保图片路径正确。

import torch
from transformers import AutoModelForCausalLM
from janus.models import MultiModalityCausalLM, VLChatProcessor
from janus.utils.io import load_pil_images

# 指定模型路径
model_path = "./Janus-Pro-1B"

# 初始化处理器和分词器
vl_chat_processor: VLChatProcessor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

# 加载模型
vl_gpt: MultiModalityCausalLM = AutoModelForCausalLM.from_pretrained(
    model_path, trust_remote_code=True
)

# 设置设备与精度
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

# 准备输入
image = "images/doge.png"
question = "Extract all information from this image and convert them into markdown format."

# 构建对话
conversation = [
    {
        "role": "<|User|>",
        "content": f"<image_placeholder>\n{question}",
        "images": [image],
    },
    {"role": "<|Assistant|>", "content": ""},
]

# 推理
inputs = vl_chat_processor(questions=conversation, images=None, return_tensors="pt", padding=True)
inputs = inputs.to(vl_gpt.device)

with torch.no_grad():
    outputs = vl_gpt.generate(**inputs,
                              do_sample=False,
                              max_new_tokens=1024,
                              use_cache=True)
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    print(response)

2. 运行说明

• 确保 images 文件夹下存在 doge.png 或其他测试图片。
• 首次运行会加载模型权重到显存，耗时取决于硬盘速度和 GPU 性能。
• 输出结果应包含对图片内容的详细 Markdown 描述。

五、实战演练：DeepSeek-R1 思维链部署

DeepSeek-R1 目前支持本地部署的主要是 Qwen 或 Llama 架构的蒸馏版本。这些模型通过 transformers 加载，能够展示完整的思维链（Chain-of-Thought）过程。

1. 基础配置

参考 Qwen 官方文档获取启动脚本：https://qwen.readthedocs.io/zh-cn/latest/getting_started/quickstart.html

2. 调整输出长度

默认情况下，模型可能只输出 512 个字符，导致思维链推导过程被截断。需要在代码中调整 max_new_tokens 参数。

outputs = model.generate(
    input_ids=input_ids,
    attention_mask=attention_mask,
    max_new_tokens=2048,  # 增加输出长度以容纳完整思考过程
    do_sample=False,
    temperature=0.7
)

3. 查看思维链

成功执行后，输出中将包含 <thought> 和 <answer> 标识符（具体格式视模型微调方式而定）。这展示了模型在给出最终答案前的逻辑推导步骤。

六、常见问题与优化建议

1. 显存不足 (OOM)

如果报错 CUDA out of memory，可尝试以下方法：

• 使用量化版本模型（如 INT4 或 INT8）。
• 减小 batch_size 或 max_new_tokens。
• 启用 CPU Offload：device_map="auto"。

2. 推理速度慢

Transformers 原生推理速度较慢，如需生产级速度，建议后续迁移至 VLLM 或 SGLang 框架。

3. 模型效果差异

本地部署的蒸馏模型（如 32B）效果通常弱于云端原版（如 671B）。对于复杂任务，建议优先选择参数量较大的模型，并确保硬件配置充足。

七、总结

本文详细介绍了从下载权重到本地运行的完整流程。通过掌握这一通用方法，开发者可以灵活部署各类开源大模型，而不仅限于特定平台。虽然本地部署对硬件有一定要求，但随着量化技术的发展，个人电脑运行中等规模模型已逐渐成为现实。未来，结合 RAG（检索增强生成）技术，本地大模型将在企业私有知识库场景中发挥更大作用。