【AI】——结合Ollama、Open WebUI和Docker本地部署可视化AI大语言模型

【AI】——结合Ollama、Open WebUI和Docker本地部署可视化AI大语言模型

🎼个人主页:【Y小夜】

😎作者简介:一位双非学校的大三学生,编程爱好者,

专注于基础和实战分享,欢迎私信咨询!

🎆入门专栏:🎇【MySQLJavawebRustpython

🎈热门专栏:🎊【SpringbootRedisSpringsecurityDockerAI】 

感谢您的点赞、关注、评论、收藏、是对我最大的认可和支持!❤️

目录

🎈本地部署模型

🎉安装Ollama

🎉安装 Open WebUI

🎊安装Docker

🥞启动 Hyper-v

🥞 安装 WSL(适用于Linux的Windows的子系统):

🥞安装Docker

 🎊Docker 部署 Open WebUI


🎈本地部署模型

🎉安装Ollama

官网:​Ollama

然后进行一下下载

安装完成之后是没有提示的,然后我们需要去测试一下。(这里我是以QWen为例子,大家可以尝试其他的模型)

打开一个终端,然后输入一个命令,进行测试

ollama run qwen 

 现在是正在进行下载,默认是保存在(C 盘,C:\Users<username>.ollama\models 如果想更改默认路径,可以通过设置OLLAMA_MODELS进行修改,然后重启终端,重启 ollama 服务。或者在环境变量中修改OLLAMA_MODELS的位置

setx OLLAMA_MODELS "D:" 

下载完成后,可以进行测试:

查看都安装了什么模型

ollma list命令显示所有安装模型 ollama rm 模型名称 删除指定模型

但这个现在就只可以在终端中使用 ,那么我问现在就搞一个web页面进行交互,增加体验。

🎉安装 Open WebUI

🎊安装Docker

如果你本地已经有了Docker了,那就可以直接看下面的内容。

🥞启动 Hyper-v

但是如果你这里没有Hyper-V,那么恭喜你,博主也没有,博主已经踩过这个坑了。

我们首先在桌面上建立一个文件,命名为Hyper.cmd,然后填入内容

pushd "%~dp0" dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i" del hyper-v.txt Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

然后使用管理员身份运行这个文件,运行完毕后,重启电脑,再打开,就可以找到Hyper-V了。

🥞 安装 WSL(适用于Linux的Windows的子系统):
wsl --update 

然后进行安装

wsl --install 

 

🥞安装Docker

官网: Windows | Docker Docs

然后进行下载:

然后双击进行安装

这里咱们先不注册,直接进行登录即可

左下角是绿色,就代表运行成功了

 🎊Docker 部署 Open WebUI

打开命令行,然后输入docker

展示内容,说明我们的docker安装成功了

然后开始用docker安装open webUI

然后,安装完成够就可以,打开Docker Desktop,访问http://localhost:3000端口了

然后点击登录网址,

就是你会发现,点击上方选择一个模型旁边的加号+可以增加大模型,点击下拉按钮可以选择当前使用哪一个已安装的模型,但是,你可能会出现一个错误,就是找不到你自己安装的模型,这个原因是因为你的ollama没有启动,我们启动一下ollama

然后再重新,加载一下网页,再选择一下模型

提问一下问题,模型进行回答。这样我们本地的模型就部署好了

Read more

ComfyUI保姆级安装指南:从零配置Python环境到共享WebUI模型库(避坑大全)

ComfyUI终极安装指南:复用WebUI资源与高效配置实战 第一次接触ComfyUI时,我被它那类似Blender的节点式界面震撼到了——这完全颠覆了我对AI绘画工具的认知。但随之而来的安装过程却让我这个有三年Stable Diffusion使用经验的老用户也踩了不少坑。最头疼的问题莫过于:如何在保留现有WebUI模型库的同时,让ComfyUI也能共享这些资源?毕竟谁也不想在已经塞满3TB硬盘的模型库里再复制一份几十GB的数据。 1. 环境预检与准备工作 在开始安装前,我们需要确保系统满足ComfyUI的基本运行要求。与WebUI不同,ComfyUI对环境的纯净度要求更高,特别是Python版本的管理。 1.1 硬件配置核查 最低配置: * 显卡:NVIDIA GTX 1060(4GB显存) * 内存:16GB DDR4 * 存储:SSD剩余空间≥50GB(仅系统+程序) 推荐配置: * 显卡:RTX 3060(12GB显存)及以上 * 内存:32GB DDR4 * 存储:NVMe SSD(模型库单独存放) 提示:显存不足8GB的用户建议关闭--hig

2026实测|DeepSeek-R1-Distill-Qwen-1.5B部署全攻略(vLLM+Open WebUI,0.8GB显存就能跑,告别服务器瓶颈)

2026实测|DeepSeek-R1-Distill-Qwen-1.5B部署全攻略(vLLM+Open WebUI,0.8GB显存就能跑,告别服务器瓶颈)

前言:2026年,轻量级大模型部署已成为开发者核心需求——专业GPU服务器成本高昂、边缘设备算力有限,多数1.5B级模型仍需3GB以上显存,让个人开发者与中小企业望而却步。而DeepSeek-R1-Distill-Qwen-1.5B(下称“DQ-1.5B”)的出现打破僵局,通过知识蒸馏技术在1.5B参数体量下实现接近7B级模型的推理能力,配合vLLM推理加速与Open WebUI可视化交互,实测0.8GB显存即可稳定运行,无需高端服务器,个人PC、边缘设备均可轻松落地。本文结合2026年最新实测数据,从核心原理、分步实操、实测验证、应用场景、落地案例到问题排查,打造零冗余、高可用的部署全攻略,兼顾专业性与实用性,助力开发者快速上手,轻松实现轻量级大模型本地化部署。 一、核心技术解析 部署前先理清三大核心组件的核心逻辑,无需深入底层源码,聚焦“为什么能用、为什么高效”,贴合开发者落地需求。 1.1 模型核心:DeepSeek-R1-Distill-Qwen-1.5B 优势解析 DQ-1.5B是DeepSeek团队基于Qwen-1.

SpringBoot+Vue+Netty+WebSocket+WebRTC 视频聊天实现

一、关于WebRTC(Web Real-Time Communication) WebRTC 是什么:是浏览器内置的实时通信技术,能让网页直接实现音视频通话、数据传输,无需安装插件。 ICE 是什么:ICE(Interactive Connectivity Establishment)是 WebRTC 中用于解决 NAT 穿透(简单说就是让不同网络下的设备能找到彼此)的框架,而 iceServers 就是给 ICE 提供 “辅助服务器” 的配置。 STUN 服务器:STUN(Session Traversal Utilities for NAT),直译是 “NAT 会话穿透工具”,它是一种轻量级的网络服务器,核心作用是:帮助处于 NAT(网络地址转换)后的设备(比如你的电脑 / 手机)