KoboldAI 简介
KoboldAI 是通往 GPT 写作的门户，提供标准化的写作工具套件，包括记忆功能、作者笔记、世界信息、保存加载、可调节的 AI 设置、格式化选项等。你可以将其作为写作助手、游戏平台或聊天机器人使用。
核心功能亮点
- 多种游戏模式：小说模式、冒险模式、聊天模式
- 丰富的 AI 模型：支持多种本地和云端模型
- 完整写作工具：记忆系统、世界构建、格式控制
安装方式
在线运行
使用 Google Colab 在线运行 KoboldAI，无需安装任何软件。
- TPU 版本：支持 13B 大模型
- GPU 版本：兼容更多 2.7B 模型
Google Colab 使用技巧：
- 定期处理验证码，避免实例被关闭
- 使用 Google Drive 存储文件和设置
- 可选择下载保存文件到本地
Windows 安装
- 运行安装脚本：
- 以管理员身份运行
install_requirements.bat - 选择临时 B:驱动器选项
- 等待安装完成，不要中途关闭
- 以管理员身份运行
- 启动应用：
- 运行
play.bat或remote-play.bat
- 运行
克隆仓库：
git clone <repository_url>
cd KoboldAI-Client
Linux 安装
- 安装依赖：
- Nvidia 用户：运行
./play.sh - AMD 用户：运行
./play-rocm.sh
- Nvidia 用户：运行
克隆仓库：
git clone <repository_url>
cd KoboldAI-Client
环境配置
依赖要求
项目使用 Python 环境，主要依赖包括：
- transformers==4.24.0 - Hugging Face 模型加载
- torch>=1.9,<1.13 - PyTorch 深度学习框架
- Flask==2.2.3 - Web 应用框架
完整依赖列表见 requirements.txt
模型配置
KoboldAI 支持多种 AI 模型，配置文件位于 maps/ 目录：
bloom.jsongpt_neo.jsongptj.json
使用模式
冒险模式
- 启用设置中的冒险模式
- 使用第二人称视角（"You take the sword"）
- 支持角色扮演和文本冒险游戏
写作助手模式
- 使用小说优化模型
- 第一人称或第三人称写作
- 专业的文学创作支持
聊天模式
- 自动添加用户名到对话开头
- 防止 AI 以用户身份发言
- 适合对话式交互
Docker 部署
对于喜欢容器化部署的用户，项目提供了多种 Docker 方案：
CUDA 支持
Dockerfiledocker-compose.yml
ROCM 支持（AMD GPU）
Dockerfiledocker-compose.yml
性能优化
模型选择策略
- 新手推荐：从 6B 模型开始
- 写作需求：选择小说优化模型
- 游戏需求：选择冒险模式模型
硬件配置建议
- NVIDIA GPU：Compute Capability 5.0+
- AMD GPU：仅 Linux 系统支持
- CPU 模式：虽然较慢但可用
常见问题
安装失败处理
- ModuleNotFoundError：重新运行安装脚本
- GPU 未找到：检查 CUDA 版本兼容性
- 配置文件缺失：确保模型文件完整
网络连接问题
- 检查防火墙设置
- 验证端口 5000 是否可用
- 使用 remote-play 脚本进行远程访问
高级功能
Softprompts 软提示
- 改变现有模型的输出风格
- 支持特定主题和写作风格
- 社区资源丰富
Userscripts 用户脚本
- 自动化任务和修改 AI 行为
- 使用 LUA5.4 脚本语言
- 内置安全沙盒保护
API 接口
KoboldAI 提供完整的 REST API：
- 访问地址：
http://127.0.0.1:5000/api - 交互式文档支持
- 便于集成其他应用
