基于 Ollama 与 Llama3 本地部署斯坦福多智能体 AI 小镇指南

Convex 是该项目使用的无服务器数据库框架。为了离线运行，我们需要启动本地版本的 Convex 后端。

3.1 下载 Convex Local Backend

前往 GitHub Releases 页面下载对应系统的预编译版本： https://github.com/get-convex/convex-backend/releases

解压下载的压缩包后，将可执行文件放入项目根目录或环境变量路径中。

3.2 启动后端服务

macOS (Apple Silicon):

# 下载并解压 (示例命令)
curl -L -O https://github.com/get-convex/convex-backend/releases/latest/download/convex-local-backend-aarch64-apple-darwin.zip
unzip convex-local-backend-aarch64-apple-darwin.zip

# 赋予执行权限
chmod +x convex-local-backend

# 启动服务
./convex-local-backend

Linux:

# 假设已下载并解压
./convex-local-backend

启动成功后，终端会显示后端监听端口信息，通常默认为 3000 或 5173 相关端口。

4. Ollama 模型配置

AI Town 依赖大语言模型生成对话内容，以及向量模型处理记忆检索。我们使用 Ollama 提供本地推理能力。

4.1 拉取模型

在终端执行以下命令拉取所需模型：

ollama pull llama3
ollama pull mxbai-embed-large

• llama3: 用于文本生成和对话。
• mxbai-embed-large: 用于向量化存储和检索智能体的记忆。

4.2 验证模型

检查项目配置文件 convex/util/llm.ts，确认默认模型名称与 Ollama 中的名称一致。当前版本默认已配置为 llama3，无需修改。

如需手动指定模型，可使用 just 命令设置环境变量：

just convex env set LLM_MODEL llama3

4.3 性能优化

如果发现对话响应较慢，可以调整搜索记忆的数量以减少 Prompt 长度。编辑 convex/constants.ts 文件，将 NUM_MEMORIES_TO_SEARCH 的值改为 1：

export const NUM_MEMORIES_TO_SEARCH = 1;

这将显著加快对话速度，但可能略微降低上下文感知的丰富度。

5. 可选配置：背景音乐

如果需要为 AI 小镇添加背景音乐，需要注册 Replicate 账户并获取 API Token。

1. 访问 Replicate 官网创建账户。
2. 在 API Tokens 页面生成密钥。
3. 设置环境变量：

just convex env set REPLICATE_API_TOKEN <此处替换为实际 Token>

此步骤非必需，不影响核心功能运行。

6. 运行项目

完成上述配置后，即可启动前后端服务。

6.1 同时启动

在项目根目录下执行：

npm run dev

等待构建完成后，浏览器访问： http://localhost:5173/ai-town

6.2 分别启动

若需独立调试，可分开运行：

# 前端
npm run dev:frontend

# 后端
npm run dev:backend

6.3 初始状态说明

刚启动时，小镇内的人物可能处于静止状态，暂无对话。这是正常现象，请观察终端日志：

1. 等待约 2 分钟，人物开始加载描述和计划。
2. 再次等待约 2 分钟，人物开始移动。
3. 当两个角色相遇时，点击他们可查看实时对话记录。

7. 常见问题与排查

7.1 端口冲突

如果启动报错提示端口被占用，请检查是否已有其他服务占用 5173 或 3000 端口，或使用 lsof -i :5173 查看进程并终止。

7.2 模型加载缓慢

首次运行 Ollama 模型时，可能需要下载权重文件。请确保网络连接稳定。若网络受限，可提前下载模型文件至本地。

7.3 内存不足

运行多个智能体实例可能消耗较多内存。如果系统内存紧张，可减少同时运行的智能体数量，或增加系统 Swap 分区。

7.4 无法连接后端

确保 convex-local-backend 正在运行，且前端配置中的 Convex URL 指向正确的本地地址（通常为 http://localhost:3000）。

8. 总结

通过本教程，我们成功利用 Ollama 和 Llama3 在本地构建了斯坦福多智能体 AI 小镇。这种方式不仅保护了数据隐私，还避免了高昂的 API 调用费用。开发者可以根据需求进一步定制智能体的性格、记忆机制或交互逻辑，探索多智能体协作的更多可能性。