项目地址：https://github.com/mudler/LocalAI
什么是 LocalAI
LocalAI 是一个开源的本地 AI 推理引擎，可作为 OpenAI、ElevenLabs、Anthropic 等商业 API 的替代方案。它允许用户在消费级硬件（甚至无需 GPU）上本地运行以下任务：
- 文本生成（LLaMA、Gemma、Phi 等模型）
- 图像生成（Stable Diffusion 等）
- 语音合成与识别（Whisper、Bark 等）
- 多模态处理（视觉问答、目标检测等）
核心优势
- 零依赖 GPU 通过量化技术和高效后端（如 llama.cpp），在 CPU 上流畅运行 7B 参数级模型。
- 全栈多模态支持
- 文本：LLaMA、vLLM、Transformers
- 语音：Whisper、Coqui、Bark
- 图像：Stable Diffusion、Diffusers
- 高级功能：视觉问答、目标检测、文档重排序
- 开箱即用的兼容性 完全兼容 OpenAI API 规范，现有应用无需修改即可迁移。
- 跨平台支持
- CPU/GPU 镜像（NVIDIA CUDA、AMD ROCm、Intel oneAPI）
- macOS/Linux/Windows 原生应用
- Docker/Kubernetes 容器化部署
快速开始
1. 安装 LocalAI
curl https://localai.io/install.sh | sh
2. 下载模型（示例：LLaMA-3）
local-ai run llama-3.2-1b-instruct:q4_k_m
3. 启动服务
local-ai start
或使用 Docker 一键运行：
docker run -p 8080:8080 localai/localai:latest
访问 http://localhost:8080 即可使用内置 WebUI 聊天、绘图、语音合成！
技术生态
LocalAI 通过模块化后端支持 50+ 模型架构：
| 任务类型 | 支持后端 | 加速方案 |
|---|---|---|
| 文本生成 | llama.cpp, vLLM, MLX（苹果芯片） | CUDA/ROCm/Metal |
| 语音识别 | Whisper.cpp, faster-whisper | 多语言转录 |
| 图像生成 | stablediffusion.cpp, Diffusers | Vulkan/Intel SYCL |
| 目标检测 | rf-detr | 实时物体识别 |
应用场景
- ：结合 LangChain 实现离线文档问答
