本文详细讲解了如何在 Windows 环境下使用 LM Studio 本地离线部署大语言模型。内容涵盖环境配置、软件安装、模型下载与导入、聊天界面使用及本地服务器 API 调用方法。重点介绍了 GGUF 格式模型的选择、GPU 加速设置以及通过 Python 和 Curl 进行接口调试的实操步骤，并提供了显存不足、推理慢等常见问题的解决方案，帮助用户快速搭建私有化 AI 环境。
在开始部署之前，请确保您的开发环境满足以下硬件和软件要求。本次教程基于 Windows 11 系统，使用 NVIDIA 显卡进行加速。
注意：虽然 LM Studio 支持 CPU 推理，但为了获得流畅的对话体验，强烈建议使用支持 CUDA 的 NVIDIA 显卡。
LM Studio 是一款跨平台的本地大语言模型运行工具，支持多种模型格式（主要是 GGUF）。
安装完成后启动程序，主界面包含以下核心模块：
由于网络原因，直接在 LM Studio 内搜索下载可能失败。推荐采用离线部署模式，手动下载模型文件并导入。
本文以 Google DeepMind 出品的 Gemma 2B Instruct 为例。该模型轻量级且指令遵循能力强，适合本地部署测试。
模型仓库地址：
GGUF 格式的量化文件。Q4_K_M 或 Q5_K_M 量化版本，平衡了显存占用与生成质量。.gguf 文件至本地临时目录。.gguf 文件拖入指定目录。models 文件夹）。
在聊天界面，您可以配置以下参数以优化输出效果：
n_gpu_layers)。
除了图形界面，LM Studio 还支持启动本地服务器，方便开发者通过代码集成。
1234。
使用 requests 库调用本地 API：
import requests
url = "http://localhost:1234/v1/chat/completions"
headers = {"Content-Type": "application/json"}
data = {
"model": "gemma-2b-it",
"messages": [
{"role": "user", "content": "请用 Python 写一个快速排序函数"}
],
"temperature": 0.7,
"max_tokens": 512
}
response = requests.post(url, json=data, headers=headers)
print(response.json()['choices'][0]['message']['content'])
命令行直接测试接口：
curl http://localhost:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "gemma-2b-it",
"messages": [{"role": "user", "content": "你好"}],
"temperature": 0.7
}'
如果加载模型时提示 Out Of Memory，请尝试以下步骤：
n_gpu_layers 的设置，让部分层在 CPU 上运行。llama.cpp 加载信息）。.gguf。LM Studio 提供了便捷的本地大模型部署方案，无需复杂的代码配置即可体验 Llama、Gemma 等开源模型的强大能力。通过离线导入模型和启动本地 API 服务，开发者可以在保护数据隐私的前提下，灵活地将大模型集成到自己的应用流程中。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online