Windows 本地部署 Ollama 大模型：Qwen3.5 实战与并发优化

• ollama pull = 仅下载模型文件，不启动
• ollama run = 检查本地，无则下载并立即启动对话

如果终端出现 Send a message （/? for help) 提示，说明部署成功。首次提问速度可能较慢，后续会加快。

4. 上下文长度调整

上下文长度越大，模型记忆能力越强，但处理速度会变慢。可在 Ollama 设置界面中灵活调整，根据机器性能平衡速度与体验。

交互软件配置

直接在 CMD 窗口交互不便，推荐使用图形化工具。

1. Cherry Studio

社区版个人免费，商用需授权。

• 下载：访问官网 https://www.cherry-ai.com/
• 安装：双击安装包，一路下一步。
• 连接本地模型：
  1. 点击右上角设置图标。
  2. 搜索 Ollama，点击添加按钮。
  3. 输入模型 ID（如 qwen3.5:9b），自动填充名称。
  4. 切换对话中的模型为已添加的本地模型即可正常对话。
  5. 在对话设置中将上下文数设为不限，由 Ollama 端限制。

2. AingDesk

个人使用和商用均免费。

• 下载：通过 GitHub 仓库 https://github.com/aingdesk/AingDesk
• 安装：双击 AingDesk-win-x64.exe 安装。
• 使用：打开软件，选择本地模型，在下方的输入框中输入提问内容。

注意：Qwen3.5 是多模态模型，可以直接理解图片，无需借助 OCR 工具。

解决并发请求限制问题

默认情况下，Ollama 同一时间只能处理一个请求。若需同时打开多个聊天窗口，可添加环境变量开启并发支持。

1. 设置环境变量

按下 Win + I 打开设置，搜索'环境变量'，点击'编辑系统环境变量'。

1. 点击'环境变量'。
2. 新建系统变量：
   • 变量名：OLLAMA_NUM_PARALLEL
   • 变量值：并发数（例如 2 或 4）
3. 保存所有更改。

2. 验证生效

重启 Ollama 服务（任务栏右键 -> Restart），测试是否支持同时处理多个请求。

注：部分新版本可能存在兼容性问题，若环境变量失效，请尝试更新 Ollama 至最新版。

常见问题排查

1. 吐字速度过慢

通常是因为上下文长度设置过长。在 Ollama 设置中适当减小上下文长度，可显著提升生成速度。

2. 内存不足报错

错误信息：model requires more system memory 原因：并发数设置过大或模型上下文太长，超出物理内存限制。 解决：

• 减小 Ollama 支持的请求并发数。
• 降低 AI 大模型的上下文长度。

3. 版本不兼容报错

错误信息：The model you are attempting to pull requires a newer version of Ollama. 原因：新模型（如 Qwen3.5）需要较新的 Ollama 版本解析 Manifest 文件。 解决：更新 Ollama 到最新版本。

4. 思考模式报错

错误信息：does not support thinking 原因：部分魔搭社区下载的 GGUF 格式模型对思考模式支持不佳。 解决：在 Cherry Studio 中关闭思考模式，或使用 Ollama 终端下载的原始模型。

停止正在运行的模型

默认情况下，若 4 分钟内无请求，Ollama 会自动卸载模型以节省资源。

• 查看运行状态：

  ollama ps
  

  输出包含 NAME, ID, SIZE, PROCESSOR, CONTEXT, UNTIL 等信息。

• 手动停止：

  ollama stop <模型名称>
  

  例如：ollama stop qwen3.5:9b

本文档基于实际部署经验整理，旨在提供清晰的技术指引。