KoboldAI 本地部署与配置指南
KoboldAI 是一个基于浏览器的 AI 辅助写作前端，支持多种本地和远程 AI 模型。无论你是想创作小说、玩文字冒险游戏，还是进行对话交互，它都能提供标准化的工具套件，包括记忆功能、作者笔记、世界信息以及可调节的生成参数。
环境准备
项目主要依赖 Python 环境。在开始之前，请确保你的系统已安装 Python 3.8+ 及相关依赖。
核心依赖
- transformers==4.24.0：用于加载 Hugging Face 模型
- torch>=1.9,<1.13：PyTorch 深度学习框架
- Flask==2.2.3：Web 应用后端框架
完整依赖列表通常位于 requirements.txt 文件中，建议直接通过 pip 安装。
安装方式
根据使用场景不同，可以选择在线体验或本地离线部署。
本地离线安装（推荐）
对于需要长期稳定使用的用户，建议克隆仓库到本地。
git clone https://github.com/KoboldAI/KoboldAI-Client
cd KoboldAI-Client
Windows 用户
- 以管理员身份运行
install_requirements.bat。 - 选择临时 B:驱动器选项（如有提示）。
- 等待安装完成，切勿中途关闭窗口。
- 运行
play.bat启动应用，或使用remote-play.bat开启远程访问。
Linux 用户
- NVIDIA GPU：直接运行
./play.sh。 - AMD GPU：运行
./play-rocm.sh。
注意：如果安装过程中出现模块缺失错误，请检查网络连接并重新运行安装脚本。
Docker 容器化部署
如果你偏好容器化方案，项目提供了针对 CUDA 和 ROCM 的 Dockerfile。
- CUDA 支持：适用于 NVIDIA 显卡
- ROCM 支持：适用于 AMD 显卡
只需准备好 docker-compose.yml 文件即可快速拉起服务，这种方式能有效隔离环境依赖。
模型配置
KoboldAI 支持加载多种预训练模型。配置文件通常位于 maps/ 目录下，常见的包括 bloom.json、gpt_neo.json 和 gptj.json。
模型选择策略
- 新手入门：建议从 6B 参数量的模型开始，对显存要求较低。
- 写作需求：优先选择经过小说优化的模型。
- 游戏需求：选择适配冒险模式的模型。
硬件方面，NVIDIA GPU 需 Compute Capability 5.0+，AMD GPU 仅支持 Linux 系统。若没有独立显卡，CPU 模式也可运行，但速度会明显变慢。
使用模式详解
KoboldAI 提供了三种主要交互模式，可根据需求在设置中切换。
