LocalAI 本地部署与远程访问教程
前言
LocalAI 是一款开源工具，支持在本地运行 Llama、Phi 等大模型，数据全程不上传云端，且兼容 OpenAI API。它适合处理敏感数据的场景，无需依赖 GPU 即可通过 CPU 进行推理。
Docker 部署
本例使用 Ubuntu 22.04 进行演示，使用 Docker 进行部署。
CPU 模式
sudo docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-cpu
GPU 模式（需 Nvidia 显卡）
sudo docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12
更多项目配置与使用详情可访问 GitHub 主页：https://github.com/mudler/LocalAI
简单使用演示
容器启动后，在浏览器访问 http://localhost:8080 即可打开 LocalAI 的 Web UI 页面。
- 点击 Gallery 选择一个大模型。
- 界面中有多个大模型，可根据用途标签筛选或搜索指定模型。
- 以添加 llama-3.2-1b 模型为例，点击 Install 按钮安装等待完成。
- 安装完成后，点击页面上方导航条中的 HOME 回到主页，即可发现刚刚添加的模型。
- 点击上方导航中的 Chat 即可与 AI 大模型聊天。
- 点击右侧的模型选择，下拉框中会显示已安装的大模型。
- 如果想继续安装其他大模型，可以点击页面上方导航栏中的 Models 进行选择。
安装内网穿透工具
目前只能在本地局域网内访问 LocalAI。若想在外部网络环境使用手机、平板等设备远程访问，可使用内网穿透工具实现。
安装步骤
使用一键脚本安装命令：
sudo curl https://get.cpolar.sh | sh
安装完成后，执行下方命令查看服务状态：
sudo systemctl status cpolar
服务成功启动后，在浏览器输入 ubuntu 主机 IP 加 9200 端口即 http://localhost:9200 访问管理界面，使用账号登录后进入配置界面。
配置公网地址
登录管理界面后，点击左侧仪表盘的隧道管理——创建隧道：
- 隧道名称：自定义，例如 localai
- 协议：http
- 本地地址：8080
- 域名类型：随机域名
- 地区：China Top
点击创建。创建成功后，在线隧道列表将生成两个公网地址，在其他设备浏览器中访问即可远程使用。
注意：随机地址的优势在于建立速度快，但地址在 24 小时内可能变化，适合临时使用。
配置固定公网地址
如需长期使用或异地访问，建议配置二级子域名作为固定地址。
- 点击左侧的预留，选择保留二级子域名，地区选择 China Top，设置一个二级子域名名称，填写备注信息，点击保留。
- 复制保留的二级子域名地址。
