PrivateGPT 是一个支持离线运行的开源项目，利用本地大语言模型和 RAG 技术实现私有文档问答，确保数据不离开本地环境。项目基于 FastAPI 和 LlamaIndex，提供高低级 API 接口及 Gradio UI。安装需 Python 3.11 和 Poetry，推荐使用 GPU 加速及 GGUF 格式模型。支持文档查询、搜索及纯聊天模式，可通过配置调整模型与向量存储。适合对数据隐私有严格要求的场景，具备完善的 API 集成能力与故障排查指南。
随着人工智能技术的普及，ChatGPT 等 AI 产品的使用日益广泛，用户数据隐私泄露的风险也随之增加。为了解决这一问题，开源项目 PrivateGPT 应运而生，它允许用户在离线环境下利用大语言模型（LLM）查询本地文档，确保数据完全保留在本地执行环境中。
PrivateGPT 是一个可投入生产的 AI 项目，支持在无互联网连接的情况下运行。它基于检索增强生成（RAG）技术，将大型语言模型的能力封装在安全的 API 中，提供私有、安全且易于使用的 GenAI 开发框架。该项目支持多种本地和远程的 LLM 提供商、嵌入提供商及向量存储后端，且无需修改代码库即可灵活切换。
PrivateGPT 的核心框架由 FastAPI 和 LlamaIndex 构成，提供了构建私有上下文感知 AI 应用所需的所有原语。其 API 设计遵循并扩展了 OpenAI API 标准，支持普通响应和流式响应，分为两个逻辑块：
此外，项目提供了一个 Gradio UI 客户端用于测试 API，并包含批量模型下载脚本、文档文件夹监视等实用工具。
开始安装前，请确认系统满足以下基础环境要求：
# 克隆仓库
git clone https://github.com/imartinez/privateGPT
cd privateGPT
# 安装 Python 3.11 (如已安装可跳过)
pyenv install 3.11
pyenv local 3.11
# 安装依赖
poetry install --with ui,local
# 下载嵌入和 LLM 模型
poetry run python scripts/setup
# (可选) 对于 Mac Metal GPU，启用加速
CMAKE_ARGS="-DLLAMA_METAL=on" pip install --force-reinstall --no-cache-dir llama-cpp-python
# 启动本地服务器
PGPT_PROFILES=local make run
启动后，访问 http://localhost:8001/ 即可使用 Web 界面。
为了获得最佳性能，强烈建议使用 GPU 加速。PrivateGPT 支持与 llama.cpp 兼容的模型进行本地执行。推荐的已知良好运行的模型包括：
若显存有限，可选择量化版本（如 Q4_K_M），这能在保持较高精度的同时显著降低内存占用。
PrivateGPT 允许通过配置文件自定义行为。主要配置文件位于 settings.yaml，其中可设置以下关键参数：
示例配置片段：
llm:
provider: llama_cpp
config:
model_path: models/your_model.gguf
n_ctx: 4096
n_gpu_layers: -1 # -1 表示尽可能全部加载到 GPU
部署完成后，Web 界面左上角提供三种执行模式供用户选择：
除了 Web UI，开发者可通过 API 直接集成 PrivateGPT 到自己的应用中。以下是使用 Python 调用 API 的示例：
import requests
response = requests.post(
"http://localhost:8001/api/v1/generate",
json={
"question": "这份文档的主要结论是什么？",
"chat_history": []
}
)
print(response.json())
该接口支持流式输出，适用于实时交互场景。
n_gpu_layers 或更换更小参数量、更高量化的模型。PrivateGPT 提供了一种有效的方法，使组织和个人能够在保障数据隐私的前提下利用大模型能力。通过本地化部署和 RAG 技术，它不仅解决了数据泄露风险，还提升了特定场景下的问答准确度。对于需要处理敏感数据的团队，这是一个值得深入探索的解决方案。未来，随着本地算力提升和模型效率优化，此类离线 AI 应用将在更多领域得到广泛应用。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online