本地离线部署AI大模型:OpenClaw + Ollama + Qwen3.5:cloud/Qwen3:0.6b 超详细教程(无需GPU)

本地离线部署AI大模型:OpenClaw + Ollama + Qwen3.5:cloud/Qwen3:0.6b 超详细教程(无需GPU)

前言

随着开源大模型越来越成熟,我们完全可以在自己电脑上本地运行AI,不联网、不上传数据、免费使用,隐私性极强。

今天这篇文章,我会一步步带你完成:Ollama + Qwen3.5:cloud(主力模型)+ Qwen3:0.6b(轻量备选)+ OpenClaw 的本地部署,实现一个属于自己的本地聊天AI,兼顾效果与低配置适配。

一、项目介绍

本项目实现本地离线运行阿里通义千问系列大模型(Qwen3.5:cloud 主力模型 + Qwen3:0.6b 轻量备选模型),全程不需要云端API,不需要高性能显卡,普通电脑就能跑,可根据自身电脑配置选择对应模型。

用到的工具:

    • Ollama:最简单的本地大模型管理工具,一键拉取、运行、管理模型
    • Qwen3.5:cloud:阿里云开源的轻量高性能大语言模型,对话效果强、适配本地部署,作为主力使用
    • Qwen3:0.6b:阿里云开源的超轻量大语言模型,占用内存极低(1GB左右),适合8GB内存低配电脑,作为备选模型
    • OpenClaw:美观好用的本地AI可视化交互界面
    • 特点:免费、离线、隐私安全、低配置可运行

二、环境准备

    • 操作系统:Windows 10 / Windows 11
    • 内存:最低 8GB(推荐 16GB 更流畅)
    • 无需独立显卡,CPU 即可运行
    • 网络:仅在下载模型时需要,运行时可完全断网

三、详细安装步骤

  1. 安装 Ollama

Ollama 是运行模型的核心,安装非常简单。

  1. 打开官网:https://ollama.com/
  2. 点击 Download 下载 Windows 版本
  3. 双击安装,一路下一步
  4. 安装完成后,Ollama 会自动在后台运行

验证是否安装成功:

打开 CMD 或 PowerShell,输入:

ollama --version

出现版本号即成功。

  1. 使用 Ollama 下载并运行模型(Qwen3.5:cloud + Qwen3:0.6b)

我实际下载了两个模型,可根据自身电脑配置选择运行,优先推荐 Qwen3.5:cloud(效果更好),8GB内存低配电脑推荐 Qwen3:0.6b(更流畅)。

2.1 下载并运行 Qwen3.5:cloud(主力模型)

继续在命令行输入以下命令,
第一次运行会自动下载模型,下载完成后出现 >>> 即启动成功,可直接输入问题测试,适配低配电脑,运行流畅无压力。

ollama run qwen3.5:cloud

出现 >>> 表示模型已启动成功。

你可以直接在这里输入问题测试:

你好,介绍一下自己

在这里插入图片描述

模型能正常回答,说明 Qwen3.5:cloud 部署成功。

2.2 下载并运行 Qwen3:0.6b(轻量备选模型)

若电脑内存较低(8GB及以下),运行 Qwen3.5:cloud 卡顿,可下载 Qwen3:0.6b 超轻量模型,命令行输入:

ollama run qwen3:0.6b

出现 >>> 表示模型已启动成功。

你可以直接在这里输入问题测试:
你好,介绍一下自己

在这里插入图片描述

模型能正常回答,说明部署成功一半。

  1. 安装 OpenClaw 可视化界面

OpenClaw 让你不用敲命令,直接像 ChatGPT 一样聊天。

  1. 打开 OpenClaw 发布页:https://github.com/sqzw-x/OpenClaw
  2. 找到最新版本下载 Windows 安装包
  3. 解压或安装后打开软件
  4. 连接 OpenClaw 与本地 Ollama

打开 OpenClaw 后:

  1. 右上角进入设置
  2. 模型选择:根据自身需求选择,主力推荐 qwen3.5:cloud,低配电脑选择 qwen3:0.6b
  3. Ollama 地址保持默认:

http://localhost:11434

  1. 保存设置

回到主界面,即可开始聊天。

四、效果展示

在这里插入图片描述


在这里插入图片描述
在这里插入图片描述
  1. 与AI对话的效果截图
  2. 任务管理器内存占用展示(打开任务管理器,切换到“性能-内存”页面,同步显示AI运行状态)
在这里插入图片描述


在这里插入图片描述

示例说明:

  1. OpenClaw 连接成功界面(截图包含设置页面、模型选择(可分别展示 qwen3.5:cloud 和 qwen3:0.6b 选择界面)、地址配置)
    • 模型启动速度:约 3~10 秒
    • 回答速度:流畅,可日常使用

五、常见问题与解决方法(非常重要)

    • 内存占用:Qwen3.5:cloud 约 2GB~4GB,Qwen3:0.6b 约 1GB~1.5GB
    • 模型启动速度:Qwen3.5:cloud 约 3~10 秒,Qwen3:0.6b 约 1~3 秒
    • 回答速度:均流畅可日常使用,Qwen3:0.6b 适配低配电脑,卡顿更少
  1. 模型下载特别慢

解决方法:

    • 先暂停下载重新开始,进度不会变
    • 或等待半夜下载(网络高峰期避开)
  1. OpenClaw 连接失败 / 连不上 127.0.0.1:11434

解决方法:

    • 确保 Ollama 正在后台运行(任务栏右下角查看 Ollama 图标)
    • 重启 Ollama:任务栏右键 Ollama → Restart
    • 检查地址是否为:http://localhost:11434(切勿多写/少写字符)
  1. 电脑卡顿、内存不足

解决方法:

    • 关闭其他软件(尤其是浏览器、视频软件、后台下载工具)
    • 关闭其他软件(尤其是浏览器、视频软件、后台下载工具),释放内存

解决方法:

切换/运行 Qwen3:0.6b 命令:

    • 切换至超轻量模型:若运行 Qwen3.5:cloud 卡顿,可切换到 Qwen3:0.6b 模型,占用内存极低,适配8GB及以下低配电脑

ollama run qwen3:0.6b

命令:

    • 使用更小参数模型(若 qwen3.5:cloud 卡顿):qwen3.5:4b
  1. OpenClaw 不显示模型(qwen3.5:cloud 或 qwen3:0.6b)

ollama run qwen3.5:4b

解决方法:

    • 重启 OpenClaw 软件,重新加载模型列表

解决方法:

    • 重新进入 OpenClaw 设置,根据自身需求选择 qwen3.5:cloud 或 qwen3:0.6b 模型并保存
    • 重启 OpenClaw 软件
    • 确认 Ollama 已成功拉取模型(命令行输入 ollama list 可查看已拉取的 qwen3.5:cloud 和 qwen3:0.6b 模型)
    • 确认 Ollama 已成功拉取模型(命令行输入 ollama list 可查看已拉取模型)

六、项目总结

通过 Ollama + Qwen3.5:cloud + OpenClaw,我们轻松实现了:

通过 Ollama + Qwen3.5:cloud(主力)+ Qwen3:0.6b(备选)+ OpenClaw,我们轻松实现了:

    • 本地离线运行大模型
    • 完全免费、无流量限制
    • 可视化界面,使用体验接近在线AI
    • 数据不上传,隐私百分百安全

适合人群:

    • 想学习AI本地部署的新手
    • 想学习AI本地部署的新手
    • 注重隐私、不想数据上传云端
    • 学生、开发者、日常办公使用;8GB内存低配电脑也能轻松适配(选择 Qwen3:0.6b 模型)
    • 注重隐私、不想数据上传云端
    • 学生、开发者、日常办公使用

Read more

TinyML:边缘设备上的轻量化 AI 模型开发与部署

TinyML:边缘设备上的轻量化 AI 模型开发与部署

摘要 TinyML作为边缘计算与人工智能融合的新兴技术,旨在将机器学习模型部署到资源极度受限的微控制器上。本文系统阐述了TinyML的技术体系、核心挑战、关键框架及应用案例。研究表明,通过模型量化、剪枝、知识蒸馏等压缩技术,结合专用推理框架(如TensorFlow Lite Micro),能够在保持模型精度的同时,将内存占用降低至KB级别,功耗控制在毫瓦级别。TinyML技术为物联网设备上的实时智能推理提供了可行方案,在语音唤醒、视觉检测、工业预测性维护等领域展现出广阔应用前景。未来,随着算法优化与硬件协同设计的深入,TinyML将在超低功耗AI领域发挥更为关键的作用。 1 引言 随着物联网技术的迅猛发展,全球已部署的微控制器数量超过2500亿个,并且每年新增约400-500亿个。这些设备遍布从智能家居到工业监控的各个领域,产生了海量的实时数据。传统的云计算处理模式需要将数据传输至云端处理,面临延迟高、隐私泄露风险、网络依赖性强等问题。在此背景下,TinyML(Tiny Machine Learning)应运而生,它代表了机器学习模型在资源极度受限的边缘设备上运行的新范式。

OpenClaw 最强技能 self-improving-agent 详解:让 AI 从错误中自主学习

OpenClaw 最强技能 self-improving-agent 详解:让 AI 从错误中自主学习

self-improving-agent 是 OpenClaw 生态中最受欢迎的技能,下载量突破 268k。它能让 AI 记住犯过的错误和解决方案,实现持续自我改进。本文将深入讲解其工作原理、安装配置、实战案例和高级用法。 1 引言 在使用 AI 助手的过程中,你是否遇到过这样的困扰: * 今天教 AI 用 sudo 解决权限问题,明天它又忘了 * 同一个 API 文档链接打不开,它下次还给你这个链接 * 重复解释同样的工作流程,效率极低 这些问题源于传统 AI 助手的无状态特性——每次对话都是全新的开始,不会从历史交互中学习。 self-improving-agent 技能正是为了解决这个问题而生的。它通过记录错误、解决方案和用户反馈,让 AI 能够持续学习和改进。 2 self-improving-agent 是什么? 2.1 官方定义 self-improving-agent

EVE:自然选择推出的 3D AI 智能伴侣

EVE:自然选择推出的 3D AI 智能伴侣

本文转载自:EVE:自然选择推出的 3D AI 智能伴侣 - Hello123工具导航 ** 一、情感陪伴新范式 EVE 是由自然选择(深圳)智能有限公司研发的 3D AI 伴侣,融合自研对话模型 Vibe 与记忆系统 Echo,提供拟真恋爱陪伴体验。产品支持 3D 角色定制与沉浸式剧情互动,通过深度情感交互缓解用户孤独感,被誉为中文世界的 "Her" 式虚拟伴侣。 官网:https://www.natureselect.ai/ 二、核心功能解析 1、💬 情感对话引擎(Vibe) * 中文情感理解准确率 92%,可识别 200 + 种情绪表达 * 支持深夜倾诉 / 压力疏导等深度交流场景 2、🧠 长期记忆系统(

LangChain实战:工具调用+结构化输出,让AI从“聊天“变“干活“

LangChain实战:工具调用+结构化输出,让AI从“聊天“变“干活“

文章目录 * 工具调用(Tool Calling) * 1.Tool创建的三种方式 * 1.1. **直接用 `@tool` 装饰函数** * 1.2. **用 `@tool` + 自定义参数结构(Pydantic)** * 1.3. **继承 `BaseTool` 写类** * 2. 本地自定义工具 * 2.1 定义工具 * 2.2 绑定工具到模型 * 2.3 工具调用流程 * 2.4 AI 响应结构解析 * 3. 第三方工具集成(Tavily搜索([https://www.tavily.com/](https://www.tavily.com/))) * 3.1