Kimi K2 是 Moonshot AI 于 2025 年 7 月 11 日发布的高性能多专家语言模型（MoE），支持最大 128K 上下文，激活参数规模为 32B，具备极强的推理、代码生成与多轮对话能力。自从其权重以多种格式开源以来，许多开发者希望将其部署在本地，以获得更高的私密性和灵活性。
本文将详细介绍三种主流本地部署路径，并提供完整的配置步骤和使用建议。
📦 准备工作（通用部分）
在进行部署前，请准备如下环境与资源：
✅ 最低硬件配置建议：
| 项目 | 要求 |
|---|---|
| 存储空间 | ≥ 250 GB（用于量化模型，若使用 FP8 请预留 1 TB） |
| 内存 | ≥ 128 GB RAM（越大越流畅） |
| GPU | ≥ 24 GB 显存，推荐多卡（如 2×A100、H100） |
| 操作系统 | Linux（Ubuntu 推荐），或支持 CUDA 的 WSL2 环境 |
✅ Python 与工具环境
sudo apt update && sudo apt install -y git cmake build-essential curl python3 && pip install --upgrade pip
✨ 方法一：使用 llama.cpp 本地部署（支持量化，低资源适配）
适合硬件资源中等，尤其是显存不足但 CPU 足够的开发者。支持 GGUF 格式的量化模型，非常适合本地离线使用。
🔧 步骤 1：获取模型（GGUF 格式）
from huggingface_hub import snapshot_download
snapshot_download(
repo_id="unsloth/Kimi-K2-Instruct-GGUF",
local_dir="models/Kimi-K2-Instruct"
)