前言
将大语言模型(LLM)能力落地到具体应用中,最佳实践是将其封装为智能体(Agent)。本系列文章旨在从零开始编写一个 Agent 框架,帮助开发者高效地构造和运行复杂的 Agent 应用。
现有 Agent 编排框架探索
在动手开发之前,有必要分析现有的主流 Agent 编排工具。
- Coze Coze 以 Bot(Agent)为核心,集成了 RAG、Workflow 等功能,支持 Single 和 Multi 模式。其优势在于上手简单,少量编辑即可搭建应用。但其编排能力相对受限,特别是在处理复杂思维链(CoT)场景时。Workflow 节点较为固定,不支持深度嵌入 Bot 内部逻辑,多 Bot 协作仅支持简单的 Multi-Agent 模式。不过,它支持 Workflow 嵌套 Workflow,扩展性较强。
- Dify 可视为开源版的低配 Coze,提供了类似的编排界面和工作流功能。
- 其他工具 FlowiseAI、Kuafu、Boxcars 等也是常见的选择。
- Stable Diffusion (ComfyUI) ComfyUI 提供了一种另类的 Workflow 思路,基于节点图流转,开放性强,支持导入导出,适合高度自定义的视觉生成任务。
设计目标
本 ai_agent 框架的设计目标如下:
- 编排式 Agent:不拘泥于单一范式,提供开放的编排能力,避免固定模式限制解决复杂问题的思路。
- BaaS Solution:实现服务与编排分离,基于中间层协议通信。应用发布后,仅需调用服务 API 即可。
- 能力无限:Workflow 和 Agent 均可作为新 Agent 的子节点,支持递归和组合。
架构设计
系统主要划分为两个核心模块:Agent 服务和 WebUI。
- WebUI:用于编排 Agent 的图形界面,编排结果生成执行计划(Plan)。
- Agent Serve:Agent 服务层,负责加载各种 Service(如 LLM、Workflow 等),并根据 Plan 执行。
- Python RT:Python 运行环境,允许直接执行 Python 代码作为 Service,未来将扩展 WASM Runtime 等。
- Agent RT:Agent 运行时,是调度 Plan 的核心引擎。

快速体验
启动服务
启动项目需要以下示例环境:
- python_rt:用于远程调用 Python 并保证安全沙盒环境,版本使用
3.11.9。 - webui:基于 WebAssembly 制作的编辑器,需要 Trunk 绑定。
- OpenAI:默认使用 OpenAI 作为 LLM 提供商,需设置 AppKey 到环境变量。
# 启动 Python 运行时(已打包为 Docker,版本 3.11.9)
docker run -itd -p 50001:50001 wdshihaoren/python_rt:16896997
# 运行实例(启动 RPC 服务,能够运行 Plan)
cd example
cargo run --bin serve
webui/server
go run main.go
webui
trunk serve






