Text Generation WebUI 模型加载器（Model Loaders）选项详解

5. llama.cpp & llamacpp_HF —— 跨平台通用

• 原理与定位：基于 llama.cpp 库的加载器，适配 GGUF 量化格式（llama.cpp 的新一代格式）。纯 C/C++ 实现，CPU 优先，也支持 GPU 加速（通过 cuBLAS 或 Metal）。
• 适配模型：GGUF 量化格式模型（文件名通常含 gguf），如 Llama-2-7B-Q4_K_M.gguf、Phi-2-Q5_K_V.gguf。
• 优势与限制：
  • 跨平台性极强：支持 CPU、NVIDIA GPU、AMD GPU、Apple Silicon（M 系列芯片）；
  • 显存/内存占用低，是纯 CPU 运行 LLM 的最佳选择；
  • 支持多种量化精度（Q2_K、Q4_K_M、Q5_K_V 等），可按需选择；
  • 生成速度：GPU 加速下略慢于 ExLlamav2/AutoGPTQ，但 CPU 下远快于其他加载器。
• 适用场景：无高端 NVIDIA GPU 的用户（如 CPU、AMD、Mac），或需要跨平台运行模型。

5.1 llama.cpp (原生)

• 纯 llama.cpp 原生加载，仅支持 GGUF 格式，适配性最纯粹。

5.2 llamacpp_HF (HF 兼容)

• 原理与定位：在 llama.cpp 基础上，包装成 Hugging Face Transformers 风格的接口。
• 适用场景：当你用 GGUF 模型，但某些插件要求'像 HF 模型一样工作'时使用。

6. AutoAWQ —— 高质量量化

• 原理与定位：基于 AutoAWQ 库的加载器，适配 AWQ 量化格式。
• 适配模型：AWQ 量化格式模型（文件名通常含 awq），如 Llama-2-7B-AWQ、Yi-34B-AWQ。
• 优势与限制：
  • AWQ 是一种更高质量的 4-bit 量化方法（相比 GPTQ，在相同 bit 下通常保留更多性能）；
  • 量化效率高，速度和显存占用接近 GPTQ，部分场景下效果更优；
  • 主要支持 NVIDIA GPU，对新架构（如 Ada Lovelace）优化较好；
  • 兼容性略低于 GPTQ，支持的模型架构相对少一些。
• 适用场景：NVIDIA GPU 用户，使用 AWQ 格式模型，追求比 GPTQ 更优的量化效果。

7. ExLlamaV3 —— 下一代极速引擎

• 原理与定位：由 turboderp 开发的 ExLlama 系列的最新版本（继 V1/V2 之后），专为 GPTQ 量化模型设计。在保持 ExLlamaV2 极速推理的基础上，进一步优化显存使用、支持更大上下文、提升兼容性与易用性。
• 适配模型：GPTQ 量化格式模型（文件名通常含 gptq），如 TheBloke/Llama-2-7B-GPTQ。
• 优势与限制：
  • 更快的推理速度：相比 V2，内核进一步优化，尤其在 batch 推理和长上下文场景下更高效；
  • 更低的显存占用：通过更精细的内存管理，可在相同显存下运行更大模型或更长序列；
  • 原生支持 RoPE 缩放（如 YaRN、Dynamic NTK），便于扩展上下文（如 32K+）；
  • 更好的 GPTQ 模型兼容性：支持更多变种的 GPTQ 配置；
  • 仍仅支持 NVIDIA GPU（CUDA + cuBLAS）；
  • 仍在积极开发中，可能不如 V2 稳定（截至 2026 年初）。
• 适用场景：你有 NVIDIA GPU（如 RTX 30/40 系列），使用 GPTQ 量化模型，追求极致推理速度与低显存占用。

8. ExLlamaV3_HF —— 插件兼容版

• 原理与定位：这是 ExLlamaV3 的 Hugging Face 兼容封装层。它让 ExLlamaV3 引擎对外暴露一个类似 transformers 的 API 接口（例如 model.generate()、tokenizer 等）。
• 背景：很多 text-generation-webui 的插件（如 LoRA、RAG、Agent 工具调用）是基于 Hugging Face transformers 库开发的。如果直接用原生 ExLlamaV3，这些插件可能无法工作。
• 特点：
  • 速度略低于原生 ExLlamaV3（因有封装开销），但远快于 AutoGPTQ 或 Transformers；
  • 插件兼容性显著提升。
• 适用场景：当你需要 ExLlamaV3 的速度 + 插件功能（如加载 LoRA 适配器）时，选择此项。

9. TensorRT-LLM —— 生产级部署

• 原理与定位：由 NVIDIA 官方开发的 LLM 推理优化框架，基于 TensorRT（NVIDIA 的高性能推理 SDK）。目标是在 NVIDIA GPU 上实现业界领先的吞吐量与延迟表现，尤其适合生产部署。
• 优势与限制：
  • 极致性能：通过图优化、内核融合、量化感知训练（QAT）等技术，比 PyTorch 快数倍；
  • 支持 FP8 / INT8 / INT4 量化（需模型经过 TRT-LLM 专用流程转换）；
  • 支持连续批处理（Continuous Batching）、多 GPU 推理、张量并行；
  • 使用门槛高：模型需先通过 TRT-LLM 构建引擎，过程复杂且耗时；需熟悉 Python/C++ API 或使用 NVIDIA 提供的脚本；对 CUDA/cuDNN/TensorRT 版本有严格要求；
  • 仅限 NVIDIA 数据中心级 GPU（如 A100, H100）效果最佳，消费卡也能用但收益有限；
  • 一旦构建好 .engine 文件，加载速度极快，推理延迟极低。
• 适用场景：你有高端 NVIDIA GPU，需要最大化吞吐量（如 API 服务、批量生成），愿意花时间转换模型为 TRT-LLM 引擎格式。

加载器选择速查表

提示：实际使用中，建议根据手头现有的模型格式（如下载的是 .gguf 还是 .safetensors）反推选择对应的加载器，这样能省去大量转换模型的麻烦。