OmniSteward：基于 LLM Agent 的语音与电脑全能管家

配置环境变量

打开项目中的 examples/env.cmd 文件，配置一系列环境变量。这一步至关重要，因为系统需要这些密钥来连接外部服务和模型。

OPENAI_API_BASE=your_api_base
OPENAI_API_KEY=your_api_key
SILICON_FLOW_API_KEY=your_api_key
BEMFA_UID=your_bemfa_uid
BEMFA_TOPIC=your_bemfa_topic
KIMI_PROFILE_PATH=path_to_chrome_profile
LOCATION=your_location
LLM_MODEL=your_llm_model

其中，API 密钥和基础 URL 的获取方式可参考项目文档。地理位置（LOCATION）可用于优化系统提示词，LLM_MODEL 默认为 Qwen2.5-7B-Instruct。

启动方式

OmniSteward 支持两种使用方式，您可以根据实际需求选择合适的启动方式。

命令行模式（CLI）

1. 麦克风语音输入模式：首先，启动 VAD（语音活动检测）服务，在命令行中输入：

   python -m servers.vad_rpc
   

   启动 VAD 服务后，新开一个命令行窗口，执行以下命令使环境变量生效并运行 CLI：

   call examples\env.cmd python -m core.cli --config configs/cli.py
   

2. 文字输入模式：若希望使用文字输入方式，在配置好环境变量后，直接输入：

   call examples\env.cmd python -m core.cli --query"打开网易云音乐"--config configs/cli.py
   

   您可以将双引号中的指令替换为您实际需要执行的操作。
3. 添加自定义工具：如果您想要添加自定义工具，确保环境变量已生效，然后输入：

   call examples\env.cmd python -m core.cli --query"打印 你好"--config configs/cli_custom_tool.py
   

   此示例在 configs/cli_custom_tool.py 文件中添加了一个简单的打印工具，您可以查看该文件了解如何添加自定义工具。

Web 模式

1. 启动后端服务：在项目根目录下，执行以下命令配置环境变量并启动后端服务：

   call examples\env.cmd python -m servers.steward --config configs/backend.py
   

2. 启动前端服务：前端服务的启动请详见 OmniSteward - Frontend 项目的相关说明。一般来说，您需要按照该项目提供的步骤进行安装和启动操作。
3. 访问使用：完成后端和前端服务的启动后，使用 Chrome/Edge 浏览器，打开 http://localhost:8000，即可开始使用。如果您需要在外网使用，由于 Chrome/Edge 默认禁止 HTTP 下的麦克风，您需要进行额外的设置。具体操作是，在浏览器地址栏中输入 chrome://flags/#unsafely_treat_insecure_origin_as_secure，将其值设置为 http://ip:port。

应用场景

在家庭生活中，OmniSteward 成为智能家居的控制中心。早晨，用户可通过语音指令让其打开窗帘、播放音乐；晚上，可控制灯光关闭、设置闹钟。做家务时，能随时查询菜谱、获取清洁技巧。

在办公场景下，帮助用户快速启动办公软件、查找资料、管理文件，如'打开 PPT 并切换到演示模式''总结报告要点'等指令，有效提高办公效率。对于学生学习，可作为智能学习伙伴，解答学习问题、推荐学习资源。

结语

OmniSteward 作为一款充满潜力的全能 AI 管家系统，以其丰富的功能、先进的技术架构和广阔的应用前景，为我们展示了智能生活的美好画卷。尽管目前仍处于积极开发阶段，部分功能有待完善，但它已经迈出了坚实的步伐。在未来，随着技术的持续创新和应用场景的不断拓展，OmniSteward 有望成为智能生活领域的核心应用。

项目地址：https://github.com/OmniSteward/OmniSteward