【AI】——结合Ollama、Open WebUI和Docker本地部署可视化AI大语言模型

【AI】——结合Ollama、Open WebUI和Docker本地部署可视化AI大语言模型

🎼个人主页:【Y小夜】

😎作者简介:一位双非学校的大三学生,编程爱好者,

专注于基础和实战分享,欢迎私信咨询!

🎆入门专栏:🎇【MySQLJavawebRustpython

🎈热门专栏:🎊【SpringbootRedisSpringsecurityDockerAI】 

感谢您的点赞、关注、评论、收藏、是对我最大的认可和支持!❤️

目录

🎈本地部署模型

🎉安装Ollama

🎉安装 Open WebUI

🎊安装Docker

🥞启动 Hyper-v

🥞 安装 WSL(适用于Linux的Windows的子系统):

🥞安装Docker

 🎊Docker 部署 Open WebUI


🎈本地部署模型

🎉安装Ollama

官网:​Ollama

然后进行一下下载

安装完成之后是没有提示的,然后我们需要去测试一下。(这里我是以QWen为例子,大家可以尝试其他的模型)

打开一个终端,然后输入一个命令,进行测试

ollama run qwen 

 现在是正在进行下载,默认是保存在(C 盘,C:\Users<username>.ollama\models 如果想更改默认路径,可以通过设置OLLAMA_MODELS进行修改,然后重启终端,重启 ollama 服务。或者在环境变量中修改OLLAMA_MODELS的位置

setx OLLAMA_MODELS "D:" 

下载完成后,可以进行测试:

查看都安装了什么模型

ollma list命令显示所有安装模型 ollama rm 模型名称 删除指定模型

但这个现在就只可以在终端中使用 ,那么我问现在就搞一个web页面进行交互,增加体验。

🎉安装 Open WebUI

🎊安装Docker

如果你本地已经有了Docker了,那就可以直接看下面的内容。

🥞启动 Hyper-v

但是如果你这里没有Hyper-V,那么恭喜你,博主也没有,博主已经踩过这个坑了。

我们首先在桌面上建立一个文件,命名为Hyper.cmd,然后填入内容

pushd "%~dp0" dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i" del hyper-v.txt Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

然后使用管理员身份运行这个文件,运行完毕后,重启电脑,再打开,就可以找到Hyper-V了。

🥞 安装 WSL(适用于Linux的Windows的子系统):
wsl --update 

然后进行安装

wsl --install 

 

🥞安装Docker

官网: Windows | Docker Docs

然后进行下载:

然后双击进行安装

这里咱们先不注册,直接进行登录即可

左下角是绿色,就代表运行成功了

 🎊Docker 部署 Open WebUI

打开命令行,然后输入docker

展示内容,说明我们的docker安装成功了

然后开始用docker安装open webUI

然后,安装完成够就可以,打开Docker Desktop,访问http://localhost:3000端口了

然后点击登录网址,

就是你会发现,点击上方选择一个模型旁边的加号+可以增加大模型,点击下拉按钮可以选择当前使用哪一个已安装的模型,但是,你可能会出现一个错误,就是找不到你自己安装的模型,这个原因是因为你的ollama没有启动,我们启动一下ollama

然后再重新,加载一下网页,再选择一下模型

提问一下问题,模型进行回答。这样我们本地的模型就部署好了

Read more

Matlab Copilot_AI代码生成工具:基于DeepSeek-V3.1的Matlab AI编程实战(附多版本代码,不限于Matlab 2025a)

Matlab Copilot_AI代码生成工具:基于DeepSeek-V3.1的Matlab AI编程实战(附多版本代码,不限于Matlab 2025a)

🔥 为什么需要这款工具? * Matlab 2025a虽支持Copilot,但由于地区和许可证的限制,无法使用; * 在MATLAB和ChatGPT、DeepSeek等AI工具之间来回切换,无法所见即所得。 这款Matlab Copilot_AI工具基于 DeepSeek,直接在Matlab平台运行,无须切换其他软件,支持一键生成、运行、调试、修复、导出全流程,且使用成本低,让编程效率提升,并保持持续更新。 这款工具不限于Matlab 2025a运行Copilot,集成了: 1️⃣ AI生成代码: * 输入需求:在界面输入区输入自然语言指令; * 一键生成:点击“生成”按钮,调用DeepSeek大模型,即可输出含注释说明的完整代码; * 即用即得:生成的代码自动填充到代码区,无需手动调整格式,直接运行! 2️⃣ 报错自动修复: * 错误捕获:运行代码时,工具自动记录报错信息(含文件名、行号、具体错误描述); * 智能修复:点击“修复”

【AIGC】ChatGPT 记忆功能揭秘:使用与管理的全方位指南

【AIGC】ChatGPT 记忆功能揭秘:使用与管理的全方位指南

博客主页: [小ᶻ☡꙳ᵃⁱᵍᶜ꙳]本文专栏: AIGC |ChatGPT 文章目录 * 💯前言 * 💯记忆功能的概念与作用 * 概念解析 * 作用详述 * 总结 * 💯记忆功能的开启与关闭 * 开启记忆功能 * 关闭记忆功能 * 关闭记忆功能的影响 * 注意事项 * 总结 * 💯查看与管理记忆 * 查看已保存的记忆: * 删除特定记忆 * 删除全部记忆 * 记忆的隐私保护 * 总结 * 💯记忆功能的隐私保护 * 用户控制权 * 安全与隐私保障 * 隐私政策的透明度 * 后端操作的透明度 * 总结 * 💯记忆功能与GPTs的关系 * 当前状态 * 拓展理解 * 未来展望 * 潜在影响 * 隐私与安全考虑 * 总结 * 💯记忆功能的训练应用 * 记忆数据的训练用途 * 行为模式识别 * 记忆功能的训练影响 * 用户选择与数据使用 * 长期影响和道德考量 * 总结 *

极致压缩:Whisper.cpp 量化版本清单与 ggml 格式模型下载

Whisper.cpp 量化模型下载指南 Whisper.cpp 是 OpenAI Whisper 语音识别模型的高效 C++ 实现,支持量化技术来减小模型尺寸,实现“极致压缩”。量化通过降低模型参数的精度(如从 32 位浮点数到 4 位整数)来减少存储和计算需求,同时保持合理的准确性。ggml 格式是一种轻量级模型格式,专为资源受限设备优化。以下信息基于 Whisper.cpp 官方 GitHub 仓库(真实可靠),我将逐步引导您获取量化版本清单和下载链接。 1. 量化版本清单 Whisper.cpp 支持多种量化级别,每种对应不同的压缩率和精度权衡。以下是常见量化版本清单(基于最新官方数据): * q4_0:4 位量化,极致压缩,模型尺寸最小,适合内存受限设备(如嵌入式系统)。精度损失较高。

OpenClaw之Memory配置成本地模式,Ubuntu+CUDA+cuDNN+llama.cpp

文章目录 * 背景:Memory不生效的问题 * OpenClaw的Memory配置 * Ubuntu24.04安装CUDA和cuDNN * 编译llama.cpp * 验证方案1: * 验证方案2:下载并运行Llama-2 7B模型 * 安装node-llama-cpp * 验证Memory * sqlite-vec unavailable * 踩过的坑 * 安装node-llama-cpp的一些提示 * 安装node-llama-cpp的前置条件 * Using `node-llama-cpp` With Vulkan 承接上文:Windows11基于WSL2首次运行Openclaw,并对接飞书应用,我已经在电脑上安装了OpenClaw,接下来解决Memory问题。走了很多弯路,下面主要讲我总结的正确的安装过程。 总结来说:针对Memory不生效的问题,又不想用OpenAI或Gemini,或者只想单纯的节省token,可以按照如下的方式,设置为local模式: * 修改openclaw.json配置 * 安装CUDA和cu