KoboldAI 安装、配置与使用要点

KoboldAI 是什么

KoboldAI 更像是一套面向写作和互动文本的前端工具，而不是单纯的聊天框。它把记忆、作者笔记、世界信息、保存加载、格式控制这些能力都放在了一起，适合拿来写小说、跑文字冒险，或者做一个能接模型的对话界面。

主要能力

• 小说模式、冒险模式、聊天模式都能用
• 既支持本地模型，也能接云端模型
• 记忆系统、世界构建、格式控制这些写作辅助功能比较完整

安装方式

KoboldAI 主要有三种上手方式。想先试效果，直接用 Colab 最省事；如果打算长期用，Windows 离线安装更稳；Linux 这边则看显卡类型选脚本就行。

在线免费体验

最轻量的方式是直接跑 Google Colab，不用在本机装依赖。

• TPU 版本：适合 13B 大模型
• GPU 版本：兼容更多 2.7B 模型

用 Colab 的时候，最好把 Google Drive 配好。实例会断，验证码也得时不时处理一下，这点不太优雅，但在线方案基本都这样。重要文件先落盘，别全放在临时环境里。

Windows 离线安装

Windows 下我更建议走官方离线安装包，虽然步骤多一点，但出问题时排查比在线环境清楚。

1. 以管理员身份运行 install_requirements.bat
2. 选择临时 B: 驱动器选项
3. 等安装完成，不要中途关掉窗口
4. 安装结束后运行 play.bat 或 remote-play.bat

克隆仓库时可以直接用：

git clone [项目仓库地址]

Linux 安装

Linux 这边按显卡类型区分比较直接。

• Nvidia 用户运行 ./play.sh
• AMD 用户运行 ./play-rocm.sh

克隆仓库同样可以用：

git clone [项目仓库地址]

依赖和配置

项目基于 Python，核心依赖里比较关键的几个是：

• transformers==4.24.0：Hugging Face 模型加载
• torch>=1.9,<1.13：PyTorch 深度学习框架
• Flask==2.2.3：Web 应用框架

完整依赖还是以 requirements.txt 为准。版本别自己随手抬高，尤其是 torch，这类老项目最容易卡在兼容性上。

模型配置放在 maps/ 目录下，常见的配置文件包括：

• bloom.json
• gpt_neo.json
• gptj.json

使用模式

冒险模式

冒险模式适合文字互动场景，通常会用第二人称视角，比如 'You take the sword'。如果你想把它当成跑团或互动小说的引擎，这个模式比聊天模式更顺手。

写作助手模式

写作场景下，比较实用的是让模型专注于小说输出。可以用第一人称，也可以用第三人称，重点是把格式和记忆控制住，不然写着写着就会跑题。

聊天模式

聊天模式会自动在对话开头加用户名，避免 AI 直接把自己写成用户。它更适合做持续对话，而不是自由发挥式生成。