本地部署多模态大模型：结合 Ollama、Open-WebUI 与 Dify 实现智能对话

Open WebUI 适用于多种场景，包括但不限于：

1. 聊天机器人：利用 Open WebUI 部署的 LLM，可以创建具有智能对话功能的聊天机器人，用于客户服务、娱乐互动等领域。
2. 文本生成：可以用于生成各种文本内容，如新闻文章、博客文章、诗歌等，满足内容创作的需求。
3. 问答系统：能够回答用户提出的各种问题，适用于教育、咨询、医疗等多个领域。
4. 代码生成：可以生成多种编程语言的代码，如 Python、JavaScript 等，辅助开发者进行代码编写和调试。

二、安装 Docker

Docker 直接在官网安装 Docker Desktop 就行，根据自己的操作系统下载对应的安装包。大家一定要注意 Docker 的网址，可不要被坑了。

三、安装和配置 Ollama

3.1 安装 Ollama

同样，ollama 也提供了非常简单的安装方式，直接在官网下载对应系统的安装包即可，同样也需要注意网址，不要被坑了。

安装完成之后，在命令行界面执行下面的命令：

ollama

如果出现下面的提示，则说明安装成功：

3.2 下载多模态大模型

可以在 ollama 官网找到非常多的大模型，然后根据自己的显卡（MacOS M 芯片是内存）大小选择对应的模型。根据经验 12G 显存可以运行大概 7B 的模型。ollama 的模型库包含了热门的 llama3.2、qwen2.5、gemma2 等模型，都非常优秀。

由于本文主要是介绍在本地部署多模态大模型，因此主要下载 llava:13b 和 qwen:14b-chat 这两个模型，其他模型大家可以自行探索。在命令行执行下面的命令进行下载：

# 下载 llava:13b 模型
ollama pull llava:13b
# 下载 qwen:14b-chat
ollama pull qwen:14b-chat

下载完成后，提示如下：

3.3 Ollama 开启远程访问

3.3.1 Windows 设置

在「电脑」->「属性」->「高级系统设置」->「环境变量」中，添加一行记录：

变量：OLLAMA_HOST 值：0.0.0.0

3.3.2 MacOS 设置

在 ~/.bashrc 中的最后一行添加下面的环境变量：

export OLLAMA_HOST=0.0.0.0

然后执行下面的命令使环境变量在当前 shell 生效：

source ~/.bashrc

3.3.3 重启 Ollama

重启 ollama 使得刚才设置的环境变量生效。

四、安装和配置 OpenWebUI

下面介绍一下如何安装和配置 Open-WebUI。

4.1 安装 Open-WebUI

在命令行界面执行下面的命令，安装和启动 open-webui：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

拉取镜像并启动容器完成之后，命令行界面如下：

4.2 登录 Open-WebUI

在浏览器输入：http://127.0.0.1:3000，进入到 Open-WebUI 首页。首先注册一下账号密码：

注册完成并登录，进入到首页：

4.3 配置大模型

点击右上角的头像，选择「设置」，在弹出的窗口中选择「界面」，在「默认模型」中选择刚才下载的 llava:13b 模型：

五、Playground

接下来，让我们探索一下 Open-WebUI 的功能。

5.1 多模态问答

在首页，选择一张图片，并进行提问，可以看到大模型能够准确的识别出图片的内容和含义，并自动进行总结，同时还精准的识别除了我画的红色框：

5.2 知识库问答

在知识库页面上传一个文档：

然后在大模型首页的输入框里，按#选择知识库，并输入问题 Prompt，回车之后，open-webui 会先在知识库中检索相关的信息，并结合问题 Prompt 一起送入大模型。

5.3 联网搜索

Open-WebUI 支持联网搜索的功能，这里可以让 Open-WebUI 连接我们之前部署的 SearXNG 搜索引擎。

在「设置」界面，选择「联网搜索」，输入我们部署好的 SearXNG 搜索引擎的地址：

六、Ollama 和 Dify 结合，打造本地模型 + 智能体

ollama 也可以和 Dify 进行结合，使用本地大模型来构建智能体。

进入到 Dify 首页，点击右上角的头像，选择「设置」：

在「模型供应商」选择 Ollama：

在弹出的界面中：

• 模型名称：填写用 ollama list 命令列出来的模型名 • 模型基础 URL：http://host.docker.internal:11434

点击保存即可。

尝试用 Ollama 搭建一个智能体，并将模型设置为刚才的 ollama 模型：

七、常见问题与优化建议

为了确保部署过程的顺利进行，以下列出了一些常见问题的解决方案及性能优化建议。

7.1 端口冲突处理

如果 3000 端口被占用，可以在 docker run 命令中修改 -p 参数，例如改为 -p 3001:8080，并在浏览器访问时指定端口号。

7.2 显存不足优化

如果本地设备显存较小，建议选择更小的模型版本，如 llama3:8b 或 qwen:7b。可以通过量化技术进一步降低资源需求。

7.3 网络延迟优化

在使用 Docker 部署时，确保 --add-host=host.docker.internal:host-gateway 参数正确配置，以保证容器内服务能正确访问宿主机网络资源。

八、总结

本文主要介绍了如何在本地安装 Ollama、Open-WebUI，并介绍了 Open-WebUI、Dify 结合 Ollama 的一些玩法，还有更多高阶功能等待你去探索。通过私有化部署，用户可以更好地控制数据隐私，同时享受大模型带来的智能化体验。