前言
LocalAI 是一款开源工具,支持在本地运行 Llama、Phi 等大模型,确保数据不上传云端,且兼容 OpenAI API。它适合需要处理商业机密或对数据主权有要求的用户。其 CPU 推理能力较强,老旧设备也能流畅运行量化模型。
然而,本地部署通常受限于局域网访问。CPolar 内网穿透工具可帮助实现外部网络环境下的远程访问,无需公网 IP 或复杂的路由器设置,实现内外网隔离下的数据本地化方案。
本文介绍如何在本地服务器使用 Docker 部署 LocalAI,并结合 CPolar 配置公网地址,实现随时随地远程在线与 AI 大模型交互的流程。

教程说明
支持 CPU 推理运行的开源 AI 神器 LocalAI 本地安装与远程使用教程
1. Docker 部署
本例使用 Ubuntu 22.04 进行演示,使用 Docker 进行部署。如果没有安装 Docker,请自行查阅相关安装教程。
安装好 Docker 后,打开终端执行以下命令启动容器:
sudo docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-cpu
这里使用的镜像是仅使用 CPU 来运行的镜像。如果有 Nvidia 显卡的 GPU,也可以使用下方命令拉取支持 N 卡的镜像来运行容器:
sudo docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12
更多项目配置与使用详情可以访问作者的 GitHub 主页:https://github.com/mudler/LocalAI
2. 简单使用演示
容器启动后,在浏览器访问 http://localhost:8080 即可打开 LocalAI 的 Web UI 页面:

页面中央提示当前没有添加大模型,点击 Gallery,在跳转页面选择一个大模型:

界面中有多个大模型,可以根据用途标签(文字转语音、图片生成、文章生成等)进行筛选或在搜索框输入指定模型:






















