7 款开源 LLM WebUI 工具推荐

这是一个基于 Gradio 的 Web UI，用于大语言模型的 Web 层。

产品特性：

• 在一个 UI 以及 API 中支持多个文本生成的后端，包括：Transformers、llama.cpp、ExLlamaV2、TensorRT-LLM、AutoGPTQ、AutoAWQ、HQQ、AQLM 等
• 兼容 OpenAI 的 API。
• 使用 Jinja2 模板自动提示格式化。
• 三种聊天模式：instruct、chat-instruct、chat，其中 chat-instruct 有自动提示模板。
• 可在'聊天记录'菜单之间的对话快速切换。
• 在默认、笔记本选项卡中生成自由格式的文本，而不限于聊天回合。
• 拥有多个采样参数和生成选项，用于支持复杂的文本生成控制。
• 在 UI 中轻松切换不同型号，无需重新启动。
• 简单的 LoRA 微调工具。
• 安装在一个独立的 installer_files 目录中，不会影响系统环境。
• 扩展支持，提供许多内置的或者用户贡献的扩展。

03. Anything LLM

https://github.com/Mintplex-Labs/anything-llm Star：26.5K 开发语言：JavaScript

Anything LLM 是一个多功能的全栈 AI 应用程序，可以在与大型语言模型（LLM）聊天期间引用自己的文档或内容作为上下文数据。它专为易用性而设计，提供了一个高度可配置的多用户环境。用户可以选择集成商业的或者开源的 LLM，选择向量数据库，并管理访问权限。

该应用程序将文档组织到'工作区'中，这些工作区是容器化的单元，可以在不同的线程之间保持上下文的隔离。

工作区可以共享文档，但也能够为一些重点对话维护隔离的上下文。AnythingLLM 可运行在 Mac、Windows 或者 Linux 桌面系统上，支持本地或远程执行，使其成为构建自定义、私人 ChatGPT 的强大工具。

产品特征

• 支持 AI Agent 定义
• 支持多种模型（包括封闭和开源 LLM！）
• 支持多用户实例和 Docker 版本
• 可在工作空间内安装代理（浏览网页、运行代码等）
• 提供适用于嵌入网站的聊天组件
• 支持多种文档类型（PDF，TXT，DOCX 等）
• 简单的聊天用户界面、拖放功能和明确的使用指南。
• 支持 100% 云部署。
• 可以与所有流行的闭源和开源 LLM 提供商对接。
• 与其他聊天界面相比，可以用于管理非常大的文档。
• 提供用于自定义集成的 API

04. LibreChat

https://github.com/danny-avila/LibreChat Star：18.9K 开发语言：TypeScript、JavaScript

LibreChat 可以作为 ChatGPT 的私人替代品，在您自己的服务器上运行。

产品特征

• 支持与 ChatGPT 匹配的 UI，包括 Dark 模式、Streaming 和最新更新
• 智能选型：Anthropic（Claude），AWS Bedrock，OpenAI，Azure OpenAI，BingAI，ChatGPT，Google Vertex AI，插件，助手 API（包括 Azure 助手）
• 两者兼容远程和本地 AI 服务：Groq、Ollama、Cohere、Mistral AI、Apple MLX、koboldcpp、OpenRouter、together.ai、Perplexity、ShuttleAI 等
• 生成式 UI，代码工件：在聊天中创建 React、HTML 代码和 Mermaid 图表
• 创建、保存和共享自定义预设
• 在 AI 端点和预设之间切换，聊天中
• 使用对话分支编辑、重新提交和继续消息
• 用于高级上下文控制的会话
• 多模式聊天：
• 可通过 OpenAI Assistant API️
• 非 OpenAI 代理在积极开发中
• 使用 Claude 3、GPT-4（包括 gpt-4o 和 gpt-4o-mini）和 Gemini Vision 软件上传和分析图像
• 使用自定义端点，OpenAI，Azure，Anthropic，Google 与文件聊天。🗃️
• 具有文件、代码解释器、工具和 API 操作的高级代理🔦
• 多语言用户界面：
• English，中文，Deutsch，Español，Français，意大利语，Polski，巴西葡萄牙语，Русский, 日本語，Svenska, 한국어, Tiếng Việt, 繁體中文，العربية, Türkçe, Nederlands, עברית
• 可定制的下拉界面：适应高级用户和新手
• 验证您的电子邮件以确保安全访问
• 语音到文本和文本到语音的魔术免提聊天
• 自动发送和播放音频
• 支持 OpenAI、Azure OpenAI 和 Elevenlabs
• 从 LibreChat，ChatGPT，Chatbot UI 导入对话
• 导出对话为截图，markdown，文本，json
• 搜索所有消息/对话
• 插件，包括 Web 访问、使用 DALL-E-3 生成图像等
• 使用审核和令牌支出工具的多用户安全身份验证
• ️配置代理，反向代理，Docker，和许多部署选项：完全本地使用或部署在云上

05. Web LLM

https://github.com/mlc-ai/web-llm Star：13.6K 开发语言：TypeScript

WebLLM 是一个高性能的浏览器内 LLM 推理引擎，通过硬件加速将语言模型推理直接带到 Web 浏览器上。一切都在浏览器内运行，没有服务器支持，并通过 WebGPU 加速。WebLLM 完全兼容 OpenAI API。也就是说，可以在本地任何开源模型上使用相同的 OpenAI API，其功能包括流式传输，JSON 模式，函数调用（function-calling，简写）等。

产品特征：

• 浏览器内推理：WebLLM 是一个高性能的浏览器内语言模型推理引擎，它利用 WebGPU 进行硬件加速，直接在 Web 浏览器内实现强大的 LLM 操作，而无需服务器端处理。
• 兼容 OpenAI API：使用 OpenAI API 将您的应用与 WebLLM 无缝集成，并提供流、JSON 模式、logit 级别控制、种子等功能。
• 结构化 JSON 生成：WebLLM 支持最先进的 JSON 模式结构化生成，在模型库的 WebAssembly 部分实现，以获得最佳性能。检查 HuggingFace 上的 WebLLM JSON Playground，尝试使用自定义 JSON 模式生成 JSON 输出。
• 丰富的模型支持：WebLLM 支持一系列原生大模型，包括：Llama 3，Phi 3，Gemma，Mistral，Qwen（通义问）等，使其成为各种 AI 任务的通用工具。有关完整的支持型号列表，请选中模型。
• 自定义模型集成：轻松集成和部署 MLC 格式的自定义模型，使您能够根据特定需求和场景调整 WebLLM，增强模型部署的灵活性。
• 即插即用集成：使用 NPM 和 Yarn 等包管理器或直接通过 CDN 将 WebLLM 轻松集成到您的项目中，并提供全面的示例和用于连接 UI 组件的模块化设计。
• 流式传输与实时交互：支持流式聊天完成，允许实时输出生成，增强了聊天机器人和虚拟助手等交互式应用程序。
• 支持 Web Worker& Service Worker：通过将计算卸载到独立的工作线程或服务工作线程，优化 UI 性能并有效管理模型的生命周期。
• 支持 Chrome 扩展：使用 WebLLM 通过自定义 Chrome 扩展程序扩展 Web 浏览器的功能，并提供构建基本和高级扩展程序的示例。

06. OpenLLM

https://github.com/bentoml/OpenLLM Star：10K 开发语言：Python

OpenLLM 是一个可以在云中运行开源大语言模型（LLM）的工具，如：Llama，Qwen 和 Phi 等，也可以兼容 OpenAI 的 API 接入。它支持使用 Docker、Kubernetes 和 BentoCloud 简化模型的部署过程。

OpenLLM 支持多种模型，并提供友好的用户界面，提供内置的聊天 UI。它还可以与 BentoML 集成，用于企业级 AI 推理和部署。此外，用户可以将模型贡献到其存储库中，或者在自己的基础设施上部署自定义模型。

使用以下命令进行安装：

pip install openllm # or pip3 install openllm openllm hello 

07. LoLLMs

https://github.com/ParisNeo/lollms-webui Star：4.3K 开发语言：JavaScript/Vue、Python

LoLLMS WebUI（Lord of Large Language Multimodal Systems）是一个多功能一体化平台，可访问各种任务类型的 AI 模型，例如：写作、编码、图像生成、音乐创作等。它支持 500 多个专家模型和 2500 个跨不同领域的微调模型。

用户可以选择根据特定需求量身定制的模型，无论是编码帮助、医疗建议、法律的指导、创意故事还是娱乐。

该平台的设计考虑到了易用性，提供了一个友好的用户界面，具有明亮和暗黑模式。LoLLMS 可以用于实现增强电子邮件、代码调试、解决问题，甚至提供如笑声机器人、创意故事生成器、和个性化音乐生成之类的有趣功能。

它将生产力工具和娱乐结合在一个界面中，使其成为满足各种专业需求的多功能工具。

产品特征

• 为您的任务选择您喜欢模型和个性化配置
• 增强您的电子邮件、论文、代码调试、思想组织等
• 探索各种功能，如：搜索、数据组织、图像生成和音乐生成
• 易于使用的用户界面，具有亮暗模式选项
• 与 GitHub 存储库集成，便于访问
• 可自定义向导信息
• 生成的答案的拇指向上/向下评级
• 复制、编辑和删除邮件
• 用于讨论的本地数据库存储
• 搜索、导出和删除多个讨论
• 支持基于稳定扩散的图像/视频生成
• 支持基于 musicgen 的音乐生成
• 通过 Lollms 节点和花瓣支持多代对等网络。
• 支持 Docker、conda 和手动虚拟环境设置
• 支持 LM Studio 作为后端
• 支持 Ollama 作为后端
• 支持 vllm 作为后端
• 支持根据任务快速路由到对应的模型