KoboldAI 是什么
KoboldAI 更像是一套面向写作和互动文本的前端工具,而不是单纯的聊天框。它把记忆、作者笔记、世界信息、保存加载、格式控制这些能力都放在了一起,适合拿来写小说、跑文字冒险,或者做一个能接模型的对话界面。
主要能力
- 小说模式、冒险模式、聊天模式都能用
- 既支持本地模型,也能接云端模型
- 记忆系统、世界构建、格式控制这些写作辅助功能比较完整
安装方式
KoboldAI 主要有三种上手方式。想先试效果,直接用 Colab 最省事;如果打算长期用,Windows 离线安装更稳;Linux 这边则看显卡类型选脚本就行。
在线免费体验
最轻量的方式是直接跑 Google Colab,不用在本机装依赖。
- TPU 版本:适合 13B 大模型
- GPU 版本:兼容更多 2.7B 模型
用 Colab 的时候,最好把 Google Drive 配好。实例会断,验证码也得时不时处理一下,这点不太优雅,但在线方案基本都这样。重要文件先落盘,别全放在临时环境里。
Windows 离线安装
Windows 下我更建议走官方离线安装包,虽然步骤多一点,但出问题时排查比在线环境清楚。
- 以管理员身份运行
install_requirements.bat - 选择临时 B: 驱动器选项
- 等安装完成,不要中途关掉窗口
- 安装结束后运行
play.bat或remote-play.bat
克隆仓库时可以直接用:
git clone [项目仓库地址]
Linux 安装
Linux 这边按显卡类型区分比较直接。
- Nvidia 用户运行
./play.sh - AMD 用户运行
./play-rocm.sh
克隆仓库同样可以用:
git clone [项目仓库地址]
依赖和配置
项目基于 Python,核心依赖里比较关键的几个是:
transformers==4.24.0:Hugging Face 模型加载torch>=1.9,<1.13:PyTorch 深度学习框架Flask==2.2.3:Web 应用框架
完整依赖还是以 requirements.txt 为准。版本别自己随手抬高,尤其是 torch,这类老项目最容易卡在兼容性上。
模型配置放在 maps/ 目录下,常见的配置文件包括:
bloom.jsongpt_neo.jsongptj.json
使用模式
冒险模式
冒险模式适合文字互动场景,通常会用第二人称视角,比如 'You take the sword'。如果你想把它当成跑团或互动小说的引擎,这个模式比聊天模式更顺手。
写作助手模式
写作场景下,比较实用的是让模型专注于小说输出。可以用第一人称,也可以用第三人称,重点是把格式和记忆控制住,不然写着写着就会跑题。
聊天模式
聊天模式会自动在对话开头加用户名,避免 AI 直接把自己写成用户。它更适合做持续对话,而不是自由发挥式生成。

