使用 Docker 部署 Ollama 及 Open-WebUI 教程

一、Ollama 简介及工作原理

1. Ollama 简介及原理

• 简介：Ollama 是一款轻量级、开源的大语言模型（LLM）运行工具，旨在简化本地部署和运行大语言模型的流程。它支持 Llama 3、Mistral、Gemini 等主流开源模型，用户无需复杂配置即可在本地设备（CPU 或 GPU）上快速启动模型，适用于开发测试、本地智能应用搭建等场景。
• 工作原理：
  • 采用模型封装机制，将大语言模型的运行环境、依赖库及推理逻辑打包为标准化格式，实现模型的一键下载、启动和版本管理。
  • 通过优化的推理引擎适配硬件架构，支持 CPU 基础运行和 GPU 加速（如 NVIDIA CUDA），减少资源占用并提升响应速度。