open-webui 高速下载&Docker本地部署集成远程Ollama

open-webui 高速下载&Docker本地部署集成远程Ollama

open-webui 镜像快速高速下载

docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.6.9

https://docker.aityp.com/r/ghcr.io/open-webui/open-webuihttps://docker.aityp.com/r/ghcr.io/open-webui/open-webui

部署教程官网即可

https://docs.openwebui.com/https://docs.openwebui.com/

启动Ollama在另一台机器上,默认启动,对外开放端口11434

打开ip访问限制,以便于其他机器访问

在open-webui的机器上面测试一下链接

curl http://x.x.x.x:11434/api/tags

返回

{"models":[{"name":"deepseek-r1:1.5b","model":"deepseek-r1:1.5b","modified_at":"2025-10-17T11:11:29.4666943+08:00","size":1117322768,"digest":"e0979632db5a88d1a53884cb2a941772d10ff5d055aabaa6801c4e36f3a6c2d7","details":{"parent_model":"","format":"gguf","family":"qwen2","families":["qwen2"],"parameter_size":"1.8B","quantization_level":"Q4_K_M"}},{"name":"shaw/dmeta-embedding-zh:latest","model":"shaw/dmeta-embedding-zh:latest","modified_at":"2025-02-14T10:42:45.1430249+08:00","size":408735076,"digest":"55960d8a3a42ec79bc9004b27e208101999102cddeb17114de9284d2cfc12022","details":{"parent_model":"","format":"gguf","family":"bert","families":["bert"],"parameter_size":"102M","quantization_level":"F32"}},{"name":"llama3.2:1b","model":"llama3.2:1b","modified_at":"2025-02-11T10:14:21.9681641+08:00","size":1321098329,"digest":"baf6a787fdffd633537aa2eb51cfd54cb93ff08e28040095462bb63daf552878","details":{"parent_model":"","format":"gguf","family":"llama","families":["llama"],"parameter_size":"1.2B","quantization_level":"Q8_0"}},{"name":"nomic-embed-text:latest","model":"nomic-embed-text:latest","modified_at":"2025-02-10T09:53:10.7782173+08:00","size":274302450,"digest":"0a109f422b47e3a30ba2b10eca18548e944e8a23073ee3f3e947efcf3c45e59f","details":{"parent_model":"","format":"gguf","family":"nomic-bert","families":["nomic-bert"],"parameter_size":"137M","quantization_level":"F16"}}]}

Docker启动open-webui,命令如下

sudo docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://x.x.x.x:11434 -v open-webui:/app/backend/data --name web --restart always swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.6.9

启动后即可连接到Ollama服务上的模型了

随意切换模型,开始聊天吧

Read more

鸿蒙与Android双平台LLaMA.cpp部署指南(保姆级)

鸿蒙与Android双平台LLaMA.cpp部署指南(保姆级)

在鸿蒙(OpenHarmony)与 Android 上部署 LLaMA.cpp 模型推理全流程(超详细) 手把手完成模型转换 → 交叉编译 → 设备部署,支持 OpenHarmony 与 Android 双平台,面向 ARM64 真机。 📚目录 1. 前言 2. 环境准备 3. 模型准备(GGUF) 4. 鸿蒙交叉编译 5. Android 交叉编译 6. 推送至设备 7. 运行推理 8. 常见问题 9. 结语 一、前言 把大模型跑在手机/鸿蒙板子上,只需 llama.cpp + 交叉编译 + 推送运行

DCT-Net创意玩法:结合Stable Diffusion的混合艺术创作

DCT-Net创意玩法:结合Stable Diffusion的混合艺术创作 你是不是也经常遇到这种情况:作为一名数字艺术家,脑子里有无数天马行空的创意,想把真实人像变成赛博朋克风格、把风景照转成水墨画风,甚至融合多种艺术流派做出独一无二的作品。但一想到要装一堆AI模型、配环境、调参数,光是启动项目就得折腾半天,灵感早就飞走了。 别担心,我完全懂你的痛。我自己也是从“配置地狱”里爬出来的——曾经为了跑一个Stable Diffusion加DCT-Net的组合,装了三天环境,换了五种CUDA版本,最后还因为显存不够直接崩溃。但现在?我已经能在10分钟内完成部署,一键生成各种混合艺术效果,而且全程不用写代码! 这背后的关键,就是我们今天要聊的主角:集成式AI创作镜像。它已经预装好了DCT-Net、Stable Diffusion以及其他常用图像处理工具,所有依赖都配好了,你只需要点一下“启动”,就能立刻开始创作。 这篇文章就是为你量身打造的。无论你是刚接触AI绘画的小白,还是想提升效率的老手,都能通过这个镜像快速实现DCT-Net + Stable Diffusion 的混合艺术创作

Llama-3.2-3B参数详解与Ollama部署:3B小模型高效推理方案

Llama-3.2-3B参数详解与Ollama部署:3B小模型高效推理方案 1. 为什么3B小模型正在成为本地AI推理的新选择 你有没有试过在自己的笔记本上跑大模型?动辄十几GB显存、几分钟才出一行字的体验,确实让人望而却步。但最近,一个叫Llama-3.2-3B的模型悄悄火了——它只有30亿参数,却能在普通MacBook Air或中端Windows笔记本上流畅运行,响应速度接近实时对话。这不是妥协后的“阉割版”,而是Meta针对真实使用场景重新设计的轻量级主力选手。 很多人误以为“小模型=能力弱”,其实恰恰相反。Llama-3.2-3B不是简单地把大模型砍掉一半参数,而是从训练数据、指令微调策略到推理优化都做了针对性设计。它支持15种以上语言,对中文理解尤其扎实;在数学推理、代码补全、多轮对话等任务上,表现远超同尺寸竞品;更重要的是,它不挑硬件——连没有独立显卡的机器也能跑起来。 这篇文章不讲晦涩的架构图和训练细节,只聚焦三件事: * 这个3B模型到底“强在哪”,参数背后的真实能力是什么 * 怎么用Ollama一键部署,零配置开箱即用 * 部署后怎么调用、怎么提问、

工具篇-如何在Github Copilot中使用MCP服务?

工具篇-如何在Github Copilot中使用MCP服务?

Model Context Protocol (MCP) 是由 Anthropic 公司于 2024 年 11 月推出的一种开放协议标准,目的在于标准化 LLM 与外部数据源、工具及服务之间的交互方式。MCP 被广泛类比为“AI 领域的 USB-C 接口”。 一、vscode的安装 下载vscodeVisual Studio Code - Code Editing. Redefined安装完成打开 选择copilot,这个是AI助手,帮助你编程  然后注册登录,可以使用GitHub的账号登录,很多工具都可以通过GitHub帐号登录,所以注册一个GitHub帐号是很有必要的。 二、使用MCP 2.1 准备好MCP 先按这篇文章准备好高德地图的MCP:工具篇-Cherry Studio之MCP使用-ZEEKLOG博客 2.2 在Github Copilot中配置 MCP服务