本地离线部署AI大模型:OpenClaw + Ollama + Qwen3.5:cloud/Qwen3:0.6b 超详细教程(无需GPU)

本地离线部署AI大模型:OpenClaw + Ollama + Qwen3.5:cloud/Qwen3:0.6b 超详细教程(无需GPU)

前言

随着开源大模型越来越成熟,我们完全可以在自己电脑上本地运行AI,不联网、不上传数据、免费使用,隐私性极强。

今天这篇文章,我会一步步带你完成:Ollama + Qwen3.5:cloud(主力模型)+ Qwen3:0.6b(轻量备选)+ OpenClaw 的本地部署,实现一个属于自己的本地聊天AI,兼顾效果与低配置适配。

一、项目介绍

本项目实现本地离线运行阿里通义千问系列大模型(Qwen3.5:cloud 主力模型 + Qwen3:0.6b 轻量备选模型),全程不需要云端API,不需要高性能显卡,普通电脑就能跑,可根据自身电脑配置选择对应模型。

用到的工具:

    • Ollama:最简单的本地大模型管理工具,一键拉取、运行、管理模型
    • Qwen3.5:cloud:阿里云开源的轻量高性能大语言模型,对话效果强、适配本地部署,作为主力使用
    • Qwen3:0.6b:阿里云开源的超轻量大语言模型,占用内存极低(1GB左右),适合8GB内存低配电脑,作为备选模型
    • OpenClaw:美观好用的本地AI可视化交互界面
    • 特点:免费、离线、隐私安全、低配置可运行

二、环境准备

    • 操作系统:Windows 10 / Windows 11
    • 内存:最低 8GB(推荐 16GB 更流畅)
    • 无需独立显卡,CPU 即可运行
    • 网络:仅在下载模型时需要,运行时可完全断网

三、详细安装步骤

  1. 安装 Ollama

Ollama 是运行模型的核心,安装非常简单。

  1. 打开官网:https://ollama.com/
  2. 点击 Download 下载 Windows 版本
  3. 双击安装,一路下一步
  4. 安装完成后,Ollama 会自动在后台运行

验证是否安装成功:

打开 CMD 或 PowerShell,输入:

ollama --version

出现版本号即成功。

  1. 使用 Ollama 下载并运行模型(Qwen3.5:cloud + Qwen3:0.6b)

我实际下载了两个模型,可根据自身电脑配置选择运行,优先推荐 Qwen3.5:cloud(效果更好),8GB内存低配电脑推荐 Qwen3:0.6b(更流畅)。

2.1 下载并运行 Qwen3.5:cloud(主力模型)

继续在命令行输入以下命令,
第一次运行会自动下载模型,下载完成后出现 >>> 即启动成功,可直接输入问题测试,适配低配电脑,运行流畅无压力。

ollama run qwen3.5:cloud

出现 >>> 表示模型已启动成功。

你可以直接在这里输入问题测试:

你好,介绍一下自己

在这里插入图片描述

模型能正常回答,说明 Qwen3.5:cloud 部署成功。

2.2 下载并运行 Qwen3:0.6b(轻量备选模型)

若电脑内存较低(8GB及以下),运行 Qwen3.5:cloud 卡顿,可下载 Qwen3:0.6b 超轻量模型,命令行输入:

ollama run qwen3:0.6b

出现 >>> 表示模型已启动成功。

你可以直接在这里输入问题测试:
你好,介绍一下自己

在这里插入图片描述

模型能正常回答,说明部署成功一半。

  1. 安装 OpenClaw 可视化界面

OpenClaw 让你不用敲命令,直接像 ChatGPT 一样聊天。

  1. 打开 OpenClaw 发布页:https://github.com/sqzw-x/OpenClaw
  2. 找到最新版本下载 Windows 安装包
  3. 解压或安装后打开软件
  4. 连接 OpenClaw 与本地 Ollama

打开 OpenClaw 后:

  1. 右上角进入设置
  2. 模型选择:根据自身需求选择,主力推荐 qwen3.5:cloud,低配电脑选择 qwen3:0.6b
  3. Ollama 地址保持默认:

http://localhost:11434

  1. 保存设置

回到主界面,即可开始聊天。

四、效果展示

在这里插入图片描述


在这里插入图片描述
在这里插入图片描述
  1. 与AI对话的效果截图
  2. 任务管理器内存占用展示(打开任务管理器,切换到“性能-内存”页面,同步显示AI运行状态)
在这里插入图片描述


在这里插入图片描述

示例说明:

  1. OpenClaw 连接成功界面(截图包含设置页面、模型选择(可分别展示 qwen3.5:cloud 和 qwen3:0.6b 选择界面)、地址配置)
    • 模型启动速度:约 3~10 秒
    • 回答速度:流畅,可日常使用

五、常见问题与解决方法(非常重要)

    • 内存占用:Qwen3.5:cloud 约 2GB~4GB,Qwen3:0.6b 约 1GB~1.5GB
    • 模型启动速度:Qwen3.5:cloud 约 3~10 秒,Qwen3:0.6b 约 1~3 秒
    • 回答速度:均流畅可日常使用,Qwen3:0.6b 适配低配电脑,卡顿更少
  1. 模型下载特别慢

解决方法:

    • 先暂停下载重新开始,进度不会变
    • 或等待半夜下载(网络高峰期避开)
  1. OpenClaw 连接失败 / 连不上 127.0.0.1:11434

解决方法:

    • 确保 Ollama 正在后台运行(任务栏右下角查看 Ollama 图标)
    • 重启 Ollama:任务栏右键 Ollama → Restart
    • 检查地址是否为:http://localhost:11434(切勿多写/少写字符)
  1. 电脑卡顿、内存不足

解决方法:

    • 关闭其他软件(尤其是浏览器、视频软件、后台下载工具)
    • 关闭其他软件(尤其是浏览器、视频软件、后台下载工具),释放内存

解决方法:

切换/运行 Qwen3:0.6b 命令:

    • 切换至超轻量模型:若运行 Qwen3.5:cloud 卡顿,可切换到 Qwen3:0.6b 模型,占用内存极低,适配8GB及以下低配电脑

ollama run qwen3:0.6b

命令:

    • 使用更小参数模型(若 qwen3.5:cloud 卡顿):qwen3.5:4b
  1. OpenClaw 不显示模型(qwen3.5:cloud 或 qwen3:0.6b)

ollama run qwen3.5:4b

解决方法:

    • 重启 OpenClaw 软件,重新加载模型列表

解决方法:

    • 重新进入 OpenClaw 设置,根据自身需求选择 qwen3.5:cloud 或 qwen3:0.6b 模型并保存
    • 重启 OpenClaw 软件
    • 确认 Ollama 已成功拉取模型(命令行输入 ollama list 可查看已拉取的 qwen3.5:cloud 和 qwen3:0.6b 模型)
    • 确认 Ollama 已成功拉取模型(命令行输入 ollama list 可查看已拉取模型)

六、项目总结

通过 Ollama + Qwen3.5:cloud + OpenClaw,我们轻松实现了:

通过 Ollama + Qwen3.5:cloud(主力)+ Qwen3:0.6b(备选)+ OpenClaw,我们轻松实现了:

    • 本地离线运行大模型
    • 完全免费、无流量限制
    • 可视化界面,使用体验接近在线AI
    • 数据不上传,隐私百分百安全

适合人群:

    • 想学习AI本地部署的新手
    • 想学习AI本地部署的新手
    • 注重隐私、不想数据上传云端
    • 学生、开发者、日常办公使用;8GB内存低配电脑也能轻松适配(选择 Qwen3:0.6b 模型)
    • 注重隐私、不想数据上传云端
    • 学生、开发者、日常办公使用

Read more

【VLM】Qwen3-VL模型架构和训练流程

【VLM】Qwen3-VL模型架构和训练流程

note * Qwen3-VL模型,提供稠密型(2B/4B/8B/32B)和混合专家型(30B-A3B/235B-A22B)两种变体。通过集成高质量的多元模态数据迭代和架构创新(如增强的交错MRoPE、DeepStack视觉-语言对齐和基于文本的时间对齐) * 其原生支持256K token的交错序列,使其能够在长复杂文档、图像序列和视频上进行稳健的推理,特别适用于现实世界应用中高保真跨模态理解的需求。Qwen3-VL系列的密集和MoE变体确保了在不同延迟和质量要求下的灵活部署,后训练策略包括非思考模式和思考模式,进一步提升了模型的应用范围。 * 数据过滤方面,去除噪声、低对齐样本,确保数据质量与多样性。 * 模型架构方面,使用DeepStack 跨层融合,提取视觉编码器多中间层特征,通过轻量残差连接注入 LLM 对应层,强化视觉-语言对齐,保留从低级到高级的丰富视觉信息。 * RoPE旋转位置编码的高低频含义: * 低频:转得慢,擅长远距离位置区分(长序列、大图、长视频等) * 高频:转得快,位置稍微一变,角度就剧变,擅长近距离精细区分(小区域、局部细

By Ne0inhk
Docker 安装 OpenClaw 报错排查:如何解决Gateway auth is set to token, but no token is configured``Missing config

Docker 安装 OpenClaw 报错排查:如何解决Gateway auth is set to token, but no token is configured``Missing config

Docker 安装 OpenClaw 报错排查:如何解决Gateway auth is set to token, but no token is configured``Missing config. Run openclaw setup``control ui requires HTTPS or localhost``Proxy headers detected from untrusted address 按错误关键词 Ctrl+F 秒搜定位,建议收藏备用! 文章目录 * Docker 安装 OpenClaw 报错排查:如何解决`Gateway auth is set to token, but

By Ne0inhk
SpringAI 大模型应用开发篇-SpringAI 项目的新手入门知识

SpringAI 大模型应用开发篇-SpringAI 项目的新手入门知识

🔥博客主页: 【小扳_-ZEEKLOG博客】 ❤感谢大家点赞👍收藏⭐评论✍ 文章目录         1.0 SpringAI 概述         1.1 大模型的使用         2.0 SpringAI 新手入门         2.1 配置 pom.xml 文件         2.2 配置 application.yaml 文件         2.3 配置 ChatClient         2.4 同步调用         2.5 流式调用         2.6 System 设定         2.7 日志功能         2.8 会话记忆功能

By Ne0inhk