本地部署大语言模型指南：使用 Ollama 运行开源模型

本地部署大语言模型指南

随着 AI 应用的普及，商用大模型虽然智能，但存在输出限制严格及隐私泄露风险。在个人电脑上本地部署完全受控的大语言模型成为迫切需求。本文将介绍如何使用 Ollama 框架在本地运行开源大模型。

第一步：安装 Ollama

Ollama 是一个开源的本地大模型运行框架，封装了底层逻辑，让用户能像安装普通软件一样运行各种顶级开源大模型（如 DeepSeek、Qwen、GLM 等）。

1. 下载与安装

• 访问 Ollama 官网：https://ollama.com/
• 点击右上角 Download 按钮，选择对应操作系统版本下载（本文以 Windows 为例）。
• 运行 .exe 文件进行安装。程序默认安装到 C 盘，建议不要更改路径以避免后续报错。

安装完成后打开 Ollama 应用程序，点击 Settings 按钮。

将 Model location 修改为除 C 盘以外的固态盘分区内，防止模型占用过多系统盘空间。

第二步：下载并运行开源大模型

回到 Ollama 官网 Models 页面，可以看到海量开源模型，例如 DeepSeek、Qwen（通义千问）、GLM 等。此处以 DeepSeek-R1 为例。

点击进入模型详情页，可以看到不同版本的模型及对应的下载命令。

如何选择模型参数？

模型名称中的字母'b'代表 Billion（十亿），即参数量。例如 7b 表示 70 亿参数，14b 表示 140 亿参数。

• 参数量越大（如 32b、70b）：模型更聪明，逻辑推理能力更强，但非常消耗硬件资源（内存和显存）。如果配置不足，可能无法运行或响应极慢。
• 参数量越小（如 1.5b、7b）：轻量级，对普通电脑友好，运行速度快，适合日常文本润色、简单代码辅助或闲聊。

配置建议：

• 7b 版本（入门首选）：内存 8-16GB，显存 4-8GB。
• 14b - 32b 版本（进阶体验）：内存 16-32GB，显存 12-16GB。

查看电脑配置

1. 点击 Windows 开始按钮搜索'设置'，进入设置页面。
2. 点击 系统。
3. 点击 系统信息。
4. 查看显卡显存容量及机带 RAM（内存）容量。

执行下载与运行命令

1. 同时按键盘 Win + R 键，输入 cmd 按回车，调出控制台窗口。
2. 复制模型下载命令到控制台，并在后面加上 :模型参数 来指定具体版本。 例如下载 7b 版本：

   ollama run deepseek-r1:7b
   

3. 按回车等待下载完成，屏幕出现 success 即表示成功。

重新打开 Ollama 客户端，在模型选择处找到刚才下载的模型，即可在输入框中使用本地模型。

获取去限制版本模型

官方开源模型在出厂训练时已进行安全对齐和限制。若需解除部分限制，可寻找社区发布的特殊版本（通常后缀带有 abliterated）。

1. 在 Ollama 官网 Models 搜索界面输入模型名（以 Qwen 为例）。
2. 查找后缀带有 abliterated 字样的模型。
3. 复制其下载命令在 cmd 控制台中运行下载。

至此，一个完全属于你且去除了限制的私人本地 AI 已部署完成。

注意： 即便是本地部署的模型，也绝对不要用来从事任何违法乱纪或违背社会公序良俗的事情。'本地部署'绝不是法外之地。技术本身是中立的，但使用技术的人必须有底线。希望大家都能让 AI 成为提升自己工作和学习效率的利器。