跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
Python

本地服务器部署Text generation并添加code llama实现远程多人协作

文章目录 前言 1\. 本地部署Text generation Web UI 2\. 安装CodeLlama大模型 3\. 实现公网远程使用Code Llama 4\. 固定Text generation Web UI公网地址 前言 本篇文章介绍如何在本地部署Text generation Web UI并搭建Code Llama大模型运行,并且搭建Code Llama大语言模型，结合Cpolar内…

云间漫步发布于 2026/4/7更新于 2026/5/2134K 浏览
本地服务器部署Text generation并添加code llama实现远程多人协作
文章目录
  • 前言
  • 1. 本地部署Text generation Web UI
  • 2. 安装CodeLlama大模型
  • 3. 实现公网远程使用Code Llama
  • 4. 固定Text generation Web UI公网地址

前言

本篇文章介绍如何在本地部署Text generation Web UI并搭建Code Llama大模型运行,并且搭建Code Llama大语言模型，结合Cpolar内网穿透实现公网可远程使用Code Llama。

Code Llama是一个可以使用文本提示生成代码的大型语言模型 (LLM)。可以使当前开发人员的工作流程更快、更高效，并降低学习编码人员的进入门槛。 Code Llama 有潜力用作生产力和教育工具，帮助程序员编写更强大、文档更齐全。

Text generation Web UI部署非常简便，不仅在github主页上直接提供了一键部署安装包，同时由于是web UI形式，直接通过浏览器即可操作，不过本地化部署，无法远程访问，这里我们结合cpolar工具实现从安装到最后实现远程访问。

那么接下来先在本地部署一个Text generation Web UI界面。

请添加图片描述

1. 本地部署Text generation Web UI

本篇文章测试环境：Windows10专业版

首先我们需要在本地部署Text generation Web UI，是一个基于Gradio的LLM Web UI开源项目，可以利用其快速搭建部署各种大模型环境。

github地址：https://github.com/facebookresearch/codellama

点击download,一键下载文件到本地

15c36f878d9fc541d8f2a74c822f71f.png

解压文件夹，然后打开文件，双击运行start_windows进行自动下载

image.png

4b1ebf5eadc046af0fcc3dda1d1e91c.png

1c7fa499d29d94af7e202184634ff69.png

安装过程中会有一次确认，根据自己的显卡和系统选择就可以了，这里我选择A（英伟达显卡）

f6ebdd0b4fc4750aab5f5ff01a99cee.png

安装完成后，可以看到本地地址是：http://127.0.0.1:7680，Ctrl+c终止它。

2. 安装CodeLlama大模型

接下来要下载CodeLlama模型，在Hugging face上直接下载转换好的模型

Hugging face格式模型 https://huggingface.co/codellama

选择Base Model

1d9884ebc63ab334ea567f987d44c03.png

然后依次下载下方红框中的文件

在这里插入图片描述

c0d493d7f8c4bdd4aaa1dc69cbe0f64.png

下载好后，然后选中这九个文件剪切，回到 text-generation-webui 目录中，进入 models 目录中，新建要给文件夹，名为 codellama-7b

5ef8e07ef3e8cd67d684fb9c4f06235.png

把刚才9个文件，都粘贴到这个新文件夹中

500b90b3827a9eb26e22699dae6fc89.png

然后回到text-generation-webui 目录中，双击打开 start_windows

72810330989c686b50035e8147f55fc.png

然后打开一个浏览器，输入localhost:7680，可以看到进入到了Text generation Web UI中

514e0b39a94c435f3d6da819829fa72.png

点击上方model切换到模型配置页面，在模型下拉列表这里选择 codellama-7b

3e39c2884398d5b3645093be2b16263.png

然后点击Load加载模型，接下来可以测试提出问题

在这里插入图片描述

然后把右侧上方的代码使用vscode测试一下，是否能得出结果

28fd64bca6241db98a220c4e1377532.png

可以看到，显示出了正确结果，目前我们在本机部署了 Text generation Web UI，并且还添加了code llama大模型，如果想团队协作多人使用，或者在异地其他设备使用的话就需要结合Cpolar内网穿透实现公网访问，免去了复杂得本地部署过程，只需要一个公网地址直接就可以进入到Text generation Web UI中。

接下来教大家如何安装Cpolar并且将 Text generation Web UI实现公网访问。

3. 实现公网远程使用Code Llama

下面是安装cpolar步骤：

Cpolar官网地址: https://www.cpolar.com

点击进入cpolar官网，点击免费使用注册一个账号，并下载最新版本的Cpolar

在这里插入图片描述

登录成功后，点击下载Cpolar到本地并安装（一路默认安装即可）本教程选择下载Windows版本。

文章配图

Cpolar安装成功后，在浏览器上访问http://localhost:9200，使用cpolar账号登录,登录后即可看到Cpolar web 配置界面,结下来在web 管理界面配置即可。

在这里插入图片描述

接下来配置一下 text-generation-webui 的公网地址，

登录后，点击左侧仪表盘的隧道管理——创建隧道，

首先创建一个 LobeChat 的公网http地址隧道

  • 隧道名称：可自定义命名，注意不要与已有的隧道名称重复
  • 协议：选择http
  • 本地地址：7860 (本地访问的地址)
  • 域名类型：免费随机域名
  • 地区：选择China Top

点击创建

a4f507a45aa700bb7cae83d74387d54.png

隧道创建成功后，点击左侧的状态——在线隧道列表,查看所生成的公网地址，有两种访问方式，一种是http 和https

baedada5cedd7ddcf35b51a222fe656.png

我们接下来使用http公网地址访问，可以看到我们访问到了 Text generation Web UI 界面，这样一个公网地址访问就创建好了。

在这里插入图片描述

小结

如果我们需要长期进行团队协作的话，由于刚才创建的是随机的地址，24小时会发生变化。另外它的网址是由随机字符生成，不容易记忆。如果想把域名变成固定的二级子域名，并且不想每次都重新创建隧道来访问Text generation Web UI，我们可以选择创建一个固定的http地址来解决这个问题。

4. 固定Text generation Web UI公网地址

由于以上使用cpolar所创建的隧道使用的是随机公网地址，24小时内会随机变化，不利于长期远程访问。因此我们可以为其配置二级子域名，该地址为固定地址，不会随机变化【ps：cpolar.cn已备案】

注意需要将cpolar套餐升级至基础套餐或以上，且每个套餐对应的带宽不一样。【cpolar.cn已备案】

登录cpolar官网，点击左侧的预留，选择保留二级子域名，地区选择china vip top，然后设置一个二级子域名名称，填写备注信息，点击保留。

32cb74ca916c4cef376991e7af47215.png

保留成功后复制保留的二级子域名地址：

c777135bed1169843e25cb2415a432f.png

登录cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道，点击右侧的编辑。

798347f47f02fee855343434d72148c.png

修改隧道信息，将保留成功的二级子域名配置到隧道中

  • 域名类型：选择二级子域名
  • Sub Domain：填写保留成功的二级子域名
  • 地区: China VIP

点击更新

在这里插入图片描述

更新完成后，打开在线隧道列表，此时可以看到随机的公网地址已经发生变化，地址名称也变成了保留和固定的二级子域名名称。

f6cbf1d131005884e6efe3bd4f03cad.png

最后，我们使用固定的公网地址访问Text generation Web UI界面可以看到访问成功，一个永久不会变化的远程访问方式即设置好了。

9637c19466bbfa0379b2d71d6accadb.png

接下来就可以随时随地进行异地公网来使用Code Llama大模型了，把固定的公网地址分享给身边的人，方便团队协作，同时也大大提高了工作效率！自己用的话，无需云服务器，还可以实现异地其他设备登录！以上就是如何在本地安装Code Llama以及在本地部署 Text generation Web UI 可视化界面的全部过程。

目录

  1. 文章目录
  2. 前言
  3. 1\. 本地部署Text generation Web UI
  4. 2\. 安装CodeLlama大模型
  5. 3\. 实现公网远程使用Code Llama
  6. 4\. 固定Text generation Web UI公网地址
  • 💰 8折买阿里云服务器限时8折了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 🤖 一键搭建Deepseek满血版了解详情
  • 一键打造专属AI 智能体了解详情
极客日志微信公众号二维码

微信扫一扫，关注极客日志

微信公众号「极客日志V2」，在微信中扫描左侧二维码关注。展示文案：极客日志V2 zeeklog

更多推荐文章

查看全部
  • Android 快递物流信息布局实现详解
  • PyQt5 入门教程：基础架构与常用控件详解
  • LIBERO 数据集详解：终身机器人学习与知识迁移基准
  • 使用 Langchain-Chatchat 构建本地专属 GPT 助手
  • GitHub Copilot AI 编程助手安装与使用指南
  • Python 数据科学工具链入门：NumPy、Pandas、Matplotlib 快速上手
  • AI 产品经理与 AIGC 产品经理的区别及职业选择指南
  • 利用 VibeThinker 自动生成 Git 提交记录
  • AI 安全研究：基于 PGD 的 Stable Diffusion 视觉提示词注入分析
  • bit7z：C++ 压缩解压缩库快速上手指南
  • ms-Mamba: 多尺度 Mamba 时间序列预测模型解析
  • Oracle 基础查询语句实战示例
  • 基于 Whisper 的安卓离线语音识别方案
  • Apache SeaTunnel Web 可视化数据集成实战指南
  • Ubuntu22.04 安装与配置 OpenClaw AI 助手教程
  • Spring Boot 项目使用 WebClient 调用第三方接口详细教程
  • AI Agent 架构：基础组成模块深度解析
  • Qwen-Image-Edit-2511 评测：AI 绘画的空间逻辑与几何精度
  • 循环队列原理与 C 语言实现详解
  • 信捷 PLC 六轴机器人运动控制与码垛程序解析

相关免费在线工具

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online

  • Base64 字符串编码/解码

    将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online

  • Base64 文件转换器

    将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online

  • Markdown转HTML

    将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online

  • HTML转Markdown

    将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online

  • JSON 压缩

    通过删除不必要的空白来缩小和压缩JSON。 在线工具，JSON 压缩在线工具，online