Google GenAI Toolbox：企业级 AI 数据库中间件与 LLM-SQL 安全互联实践

应用场景

RAG 知识库

在企业知识管理领域，可将企业知识库表精准映射为 search_docs 工具。当用户提出问题时，大语言模型（LLM）能够依据问题实时召回排名前 K 的相关段落，为用户提供准确且高效的知识检索服务。

NL2SQL 数据助手

对于运营人员和分析师而言，无需再花费大量时间学习和编写复杂的 SQL 语句。他们可以直接使用自然语言来查询订单信息、库存状况以及用户行为数据等。

智能客服 Agent

智能客服场景中，结合订单表、物流表以及知识库表等多源数据，智能客服 Agent 能够实现诸如'查订单→改地址→退差价'等多步决策流程。

低代码 BI

前端用户可以通过简单的拖拽操作来生成查询条件。而后端则会调用 Toolbox 工具，将查询结果以 JSON 格式返回，直接用于图表的渲染。

AIOps

SRE（站点可靠性工程师）只需在 Slack Bot 中输入如'最近 10 分钟错误率最高的服务'这样的自然语言指令，Toolbox 就能实时查询 Prometheus 落地表，并迅速返回查询结论。

快速使用

环境准备

1. OS：Linux/macOS/Windows WSL2；
2. Docker ≥ 20.10 或直接下载二进制；
3. PostgreSQL 12+（或 AlloyDB）已运行，示例数据库 toolbox_db 已创建。

5 分钟上手

1. 下载二进制

export VERSION=0.2.0
curl -O https://storage.googleapis.com/genai-toolbox/v${VERSION}/linux/amd64/toolbox
chmod +x toolbox

2. 创建 tools.yaml

这里我们定义一个基于 PostgreSQL 的数据源和一个查询工具。注意 YAML 缩进要规范，否则无法正确解析。

sources:
  my-pg:
    kind: postgres
    host: 127.0.0.1
    port: 5432
    database: toolbox_db
    user: postgres
    password: postgres

tools:
  search_user:
    kind: postgres-sql
    source: my-pg
    description: 根据姓名模糊查询用户
    parameters:
      - name: name
        type: string
    statement: |
      SELECT id, name, email 
      FROM users 
      WHERE name ILIKE '%' || $1 || '%';

3. 启动服务

./toolbox --tools_file tools.yaml --port 5000

4. Python 客户端调用

接下来我们用 Python 客户端来验证一下。这里使用了 asyncio 来处理异步调用，符合现代 AI 应用的并发需求。

pip install toolbox-core
from toolbox_core import ToolboxClient
import asyncio

async def main():
    async with ToolboxClient("http://127.0.0.1:5000") as client:
        tools = await client.load_toolset("default")
        result = await tools["search_user"].invoke({"name": "alice"})
        print(result)

asyncio.run(main())

5. LangChain 集成（可选）

如果你在使用 LangChain，可以直接将其作为 Agent 的工具集，这样 LLM 就能自动规划如何调用这些 SQL 工具了。

pip install toolbox-langchain
from toolbox_langchain import ToolboxClient
from langchain.agents import initialize_agent

client = ToolboxClient("http://127.0.0.1:5000")
tools = client.load_toolset()
agent = initialize_agent(tools, llm, agent="zero-shot-react-description", verbose=True)
agent.run("帮我找出所有名字包含 alice 的用户")

Docker 一键部署

docker run -d \
--name toolbox \
-p 5000:5000 \
-v $(pwd)/tools.yaml:/tools.yaml \
ghcr.io/googleapis/genai-toolbox:v0.2.0 \
--tools_file /tools.yaml

Kubernetes 生产级部署示例

配合 HorizontalPodAutoscaler 可根据 QPS 自动扩缩容，适合生产环境。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: toolbox
spec:
  replicas: 3
  selector:
    matchLabels:
      app: toolbox
  template:
    metadata:
      labels:
        app: toolbox
    spec:
      containers:
      - name: toolbox
        image: ghcr.io/googleapis/genai-toolbox:v0.2.0
        args: ["--tools_file=/config/tools.yaml"]
        ports:
        - containerPort: 5000
        volumeMounts:
        - name: config
          mountPath: /config
      volumes:
      - name: config
        configMap:
          name: toolbox-config

常见踩坑与排查

1. 连接拒绝：确认 PostgreSQL 监听 0.0.0.0 且防火墙放行 5432；
2. 工具未找到：检查 toolset 名称是否匹配，或执行 ./toolbox validate --tools_file tools.yaml 做预检；
3. 高并发超时：在 YAML 中调大 max_connections 并开启连接池 pool_size: 20。

结语

genai-toolbox 把'让 LLM 安全、高效地访问数据库'这一复杂命题封装成一条 YAML + 十行代码，使开发者得以专注业务逻辑而非底层连接、鉴权与可观测。随着 Google 社区持续迭代，它有望成为 GenAI 时代数据库中间件的事实标准。

项目地址

• GitHub 源码：https://github.com/googleapis/genai-toolbox
• 官方文档：https://cloud.google.com/alloydb/docs/genai-toolbox
• Codelabs 实战：https://codelabs.developers.google.com/genai-toolbox-for-alloydb