本地部署大语言模型指南：使用 Ollama 运行开源模型

点击进入模型详情页，可以看到不同版本的模型及对应的下载命令。

如何选择模型参数？

模型名称中的字母'b'代表 Billion（十亿），即参数量。例如 7b 表示 70 亿参数，14b 表示 140 亿参数。

• 参数量越大（如 32b、70b）：模型更聪明，逻辑推理能力更强，但非常消耗硬件资源（内存和显存）。如果配置不足，可能无法运行或响应极慢。
• 参数量越小（如 1.5b、7b）：轻量级，对普通电脑友好，运行速度快，适合日常文本润色、简单代码辅助或闲聊。

配置建议：

• 7b 版本（入门首选）：内存 8-16GB，显存 4-8GB。
• 14b - 32b 版本（进阶体验）：内存 16-32GB，显存 12-16GB。

查看电脑配置

1. 点击 Windows 开始按钮搜索'设置'，进入设置页面。
2. 点击 系统。
3. 点击 系统信息。
4. 查看显卡显存容量及机带 RAM（内存）容量。

执行下载与运行命令

1. 同时按键盘 Win + R 键，输入 cmd 按回车，调出控制台窗口。
2. 复制模型下载命令到控制台，并在后面加上 :模型参数 来指定具体版本。 例如下载 7b 版本：

   ollama run deepseek-r1:7b
   

3. 按回车等待下载完成，屏幕出现 success 即表示成功。

重新打开 Ollama 客户端，在模型选择处找到刚才下载的模型，即可在输入框中使用本地模型。

获取去限制版本模型

官方开源模型在出厂训练时已进行安全对齐和限制。若需解除部分限制，可寻找社区发布的特殊版本（通常后缀带有 abliterated）。

1. 在 Ollama 官网 Models 搜索界面输入模型名（以 Qwen 为例）。
2. 查找后缀带有 abliterated 字样的模型。
3. 复制其下载命令在 cmd 控制台中运行下载。

至此，一个完全属于你且去除了限制的私人本地 AI 已部署完成。

注意： 即便是本地部署的模型，也绝对不要用来从事任何违法乱纪或违背社会公序良俗的事情。'本地部署'绝不是法外之地。技术本身是中立的，但使用技术的人必须有底线。希望大家都能让 AI 成为提升自己工作和学习效率的利器。