编程语言AI算法
本地部署多模态大模型：Open-WebUI 与 Dify 智能体实战
在个人电脑上通过 Docker 部署 Ollama 和 Open-WebUI 搭建多模态大模型的完整流程。内容包括安装 Docker、配置 Ollama 下载多模态模型（如 llava、qwen）、设置远程访问、启动 Open-WebUI 并进行知识库问答与联网搜索。此外，还演示了如何将 Ollama 接入 Dify 构建本地智能体，实现安全隐私的私有化 AI 应用。
在个人电脑上通过 Docker 部署 Ollama 和 Open-WebUI 搭建多模态大模型的完整流程。内容包括安装 Docker、配置 Ollama 下载多模态模型（如 llava、qwen）、设置远程访问、启动 Open-WebUI 并进行知识库问答与联网搜索。此外，还演示了如何将 Ollama 接入 Dify 构建本地智能体，实现安全隐私的私有化 AI 应用。
最近几年，随着 ChatGPT 的发布，越来越多的大模型涌现，为用户带来知识问答、代码编写、语音合成、图像合成及智能对话等便利。得益于大模型框架及量化技术的发展，目前个人电脑也能部署和推理大模型，兼顾安全与隐私。
本文介绍如何在个人电脑上通过 Ollama 和 Open-WebUI 搭建属于自己的多模态大模型，支持结合本地知识库进行智能问答、图像分析，并配合 Dify 构建本地智能体。支持 Windows、macOS、Linux 系统。
本文以 macOS 为例介绍部署教程，其他系统操作类似。
Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。
主要特点：
使用场景：
Open WebUI（前身为 Ollama WebUI）是专为 LLM 设计的自托管 Web 管理工具，提供直观、高效的大模型交互体验。
主要特点：
应用场景：
直接在官网下载 Docker Desktop 安装包，根据操作系统选择对应版本。注意确认官网地址，避免下载到恶意软件。
在官网下载对应系统的安装包。安装完成后，在命令行执行以下命令验证：
ollama
若出现帮助信息提示，则说明安装成功。
根据显卡（MacOS M 芯片为内存）大小选择模型。经验上 12G 显存可运行约 7B 模型。Ollama 模型库包含 llama3.2、qwen2.5、gemma2 等热门模型。
本文主要下载 llava:13b 和 qwen:14b-chat 两个模型用于多模态演示。在命令行执行：
# 下载 llava:13b 模型
ollama pull llava:13b
# 下载 qwen:14b-chat
ollama pull qwen:14b-chat
在「电脑」->「属性」->「高级系统设置」->「环境变量」中，添加记录： 变量：OLLAMA_HOST，值：0.0.0.0
在 ~/.bashrc 文件末尾添加：
export OLLAMA_HOST=0.0.0.0
然后执行以下命令使环境变量生效：
source ~/.bashrc
重启 Ollama 服务使环境变量生效。
在命令行执行以下命令安装并启动：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
拉取镜像并启动容器后，命令行将显示容器运行状态。
浏览器访问 http://127.0.0.1:3000，进入首页注册账号密码。
点击右上角头像，选择「设置」->「界面」，在「默认模型」中选择已下载的 llava:13b 模型。
在首页上传图片并进行提问，大模型能够识别图片内容和含义，并可精准识别图片中的特定区域。
在知识库页面上传文档。在大模型首页输入框按 # 选择知识库，输入问题 Prompt。Open-WebUI 会先检索知识库相关信息，再送入大模型处理。
Open-WebUI 支持联网搜索功能。可在「设置」界面选择「联网搜索」，输入部署好的 SearXNG 搜索引擎地址。
Dify 可与 Ollama 结合，使用本地大模型构建智能体。
尝试用 Ollama 搭建一个智能体，并将模型设置为刚才配置的 Ollama 模型。
本文介绍了如何在本地安装 Ollama、Open-WebUI，并演示了结合 Dify 构建本地智能体的流程。更多高阶功能等待探索。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online