前言
LocalAI 是一个开源项目，支持 Llama、Stable Diffusion 等大模型直接运行在个人设备上，所有数据处理全程不离开本地网络。它突破性地支持 CPU 推理，使得普通笔记本也能流畅运行 7B 参数模型，消除了 AI 使用的硬件门槛。其私有化部署特性适合处理敏感数据场景，如法律文书或商业合同，确保文档从未离开办公电脑。
本地部署的 AI 服务通常存在设备绑定限制，无法在外出时访问家里的算力资源。cpolar 内网穿透技术可以解决这一痛点，通过将 LocalAI 的端口映射为公网地址，实现在异地安全调用本地大模型服务。cpolar 采用端到端加密传输，配合访问白名单功能，能提供比商业云服务更可靠的双重安全机制。
本文介绍如何在本地服务器部署无需依托高昂 GPU 价格的开源 AI 项目 LocalAI，并结合 cpolar 内网穿透工具实现远程使用。
Docker 部署
本例使用 Ubuntu 22.04 进行演示，使用 Docker 进行部署。
安装好 Docker 后，打开终端执行以下命令启动容器：
sudo docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-cpu
这里使用的镜像是仅使用 CPU 来运行的镜像。如果有 Nvidia 显卡的好 GPU，也可以使用下方命令拉取支持 N 卡的镜像来运行容器：
sudo docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12
更多项目配置与使用详情可访问作者的 GitHub 主页查看。
简单使用演示
容器启动后，在浏览器访问 http://localhost:8080 即可打开 LocalAI 的 Web UI 页面。
页面中央提示当前没有添加大模型，点击 Gallery，在跳转页面选择一个大模型。界面中有 600 多个大模型，可以根据用途标签（文字转语音、图片生成、文章生成等）进行筛选或在搜索框输入指定模型。
以添加 llama-3.2-1b 模型为例，点击 install 按钮安装等待完成即可。安装完成后，点击页面上方导航条中的 HOME 回到主页，即可发现刚刚添加的模型。
想要使用这个 AI 大模型，点击上方导航中的 chat 即可与它聊天。点击右侧的模型选择，下拉框中会显示已安装的大模型。如果想继续安装其他大模型，可以点击页面上方导航栏中的 Models 进行选择。
安装 cpolar 内网穿透
目前只能在本地局域网内访问刚刚部署的 LocalAI。如果想在外部网络环境使用手机、平板、电脑等设备远程访问，可以使用 cpolar 内网穿透工具。无需公网 IP，也不用设置路由器。
使用一键脚本安装命令：
sudo curl https://get.cpolar.sh | sh
安装完成后，执行下方命令查看 cpolar 服务状态：
sudo systemctl status cpolar
Cpolar 安装和成功启动服务后，在浏览器上输入 ubuntu 主机 IP 加 9200 端口即 localhost:9200 访问 Cpolar 管理界面，使用注册的账号登录，登录后即可看到 cpolar web 配置界面。
配置公网地址
登录 cpolar web UI 管理界面后，点击左侧仪表盘的隧道管理——创建隧道：
- 隧道名称：可自定义，例如 localai
- 协议：http
- 本地地址：8080
- 域名类型：随机域名
- 地区：选择 China Top
点击创建。创建成功后，打开左侧在线隧道列表，可以看到刚刚通过创建隧道生成了两个公网地址，接下来就可以在其他电脑或者移动端设备上，使用任意一个地址在浏览器中访问。
配置固定公网地址
由于以上使用 cpolar 所创建的隧道使用的是随机公网地址，24 小时内会随机变化，不利于长期远程访问。因此可以为其配置二级子域名，该地址为固定地址，不会随机变化。
