语言模型基础：本地部署开源大模型实战

💡 注解： apply_chat_template 是 Hugging Face 新版极其重要的功能。不同模型（Llama, Qwen, Mistral）对对话格式的要求（如 [INST], <|im_start|> 等特殊标记）各不相同。这个函数能自动适配，帮你省去了手动拼接字符串的繁琐和易错风险。

4. 生成与解码

现在，我们可以调用模型的 generate() 方法来生成回答了。最后，使用 batch_decode 将生成的数字 ID 翻译回人类可读的文本。

# 使用模型生成回答
# max_new_tokens 控制了模型最多能生成多少个新的 Token
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512)

# 将生成的 Token ID 截取掉输入部分
# 这样我们只解码模型新生成的部分，不包含我们发给它的问题
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]

# 解码生成的 Token ID
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print("\n模型的回答:")
print(response)

预期输出（示例）：

我叫通义千问，是由阿里云研发的预训练语言模型…

恭喜！你已经成功在本地运行了一个大模型。这意味着你拥有了一个完全受控、隐私安全且无 API 调用成本的智能大脑。

现在又引出了一个关键问题：市面上有成百上千个模型（GPT-4, Llama 3, Claude 3…），我们该如何为自己的智能体选择最合适的那一个？

3.2.4 模型的选择

选择语言模型并非简单地追求'最大、最强'，而是一个在性能、成本、速度和部署方式之间进行权衡的决策过程。

3.2.4.1 模型选型的 8 个关键考量

在做决定时，请对着这份清单进行评估：

1. 性能与能力：最核心的考量。擅长逻辑推理？还是创意写作？参考公开榜单（如 LMSys Chatbot Arena）。
2. 成本：
   • 闭源：API 调用费（按 Token 计）。
   • 开源：硬件成本（GPU 显存）和运维成本。
3. 速度 (延迟)：实时交互（如游戏 NPC、语音助手）需要极低的延迟。轻量级模型（如 Claude 3.5 Sonnet, GPT-3.5）通常表现更优。
4. 上下文窗口：处理长文档或代码库需要大窗口（如 128K Token）。
5. 部署方式：API 简单但涉及数据隐私；本地部署安全但技术门槛高。
6. 生态与工具链：流行模型（如 Llama）拥有更丰富的微调工具和社区支持（LangChain, Hugging Face）。
7. 可微调性：开源模型允许你使用私有数据进行定制化训练，这对特定领域任务至关重要。
8. 安全性与伦理：面向公众的应用需考虑模型的偏见、毒性和幻觉风险。

3.2.4.2 闭源模型概览

闭源模型通常代表业界最强性能，提供'开箱即用'的 API 服务。

• OpenAI GPT 系列：
  • GPT-4/5：行业标杆，多模态能力最强，适合复杂推理任务。
• Google Gemini 系列：
  • 原生多模态：统一处理文本、代码、音视频。
  • Gemini 1.5/2.5 Pro：以超长上下文（1M+ Token）和处理海量信息见长。
• Anthropic Claude 系列：
  • 特点：主打AI 安全和长文档处理，减少有害输出，深受企业青睐。
  • 型号：Opus（最强）、Sonnet（平衡）、Haiku（极速）。
• 国内主流：百度文心一言、腾讯混元、华为盘古、月之暗面 (Moonshot) 等，中文能力具备天然优势。

3.2.4.3 开源模型概览

开源模型赋予开发者最高程度的灵活性、透明度和自主权。

• Meta Llama 系列：开源界的基石。
  • Llama 4 (2025 年 4 月发布)：首批采用混合专家 (MoE) 架构。包含 Scout (移动端)、Maverick (多模态/编码)、Behemoth (超强 STEM 能力) 三个版本。
• Mistral AI 系列：法国团队，主打'小尺寸、高性能'。
  • Mistral Medium 3.1 (2025 年 8 月发布)：原生多模态，内置'语调适配层'，基准测试表现优异。
• 国内开源力量：
  • Qwen (通义千问)：阿里巴巴开源，中文能力极强，社区活跃。
  • ChatGLM：清华 & 智谱 AI，早期开源领跑者，适合消费级显卡部署。

💡 选型总结：闭源模型提供了开箱即用的便捷，适合快速验证和追求极致性能。开源模型赋予了随心所欲的定制自由，适合数据敏感、成本控制或需要深度改造的场景。