OmniSteward：基于 LLM Agent 的语音与文本智能管家系统

克隆完成后，进入项目目录：

cd OmniSteward 

接着安装依赖项：

pip install -r requirements.txt 

3. 环境变量配置

打开项目中的 examples/env.cmd 文件，配置一系列环境变量。注意，这里需要逐行填写，不要挤在一行里。

OPENAI_API_BASE=your_api_base # OpenAI 格式 API 基础 URL
OPENAI_API_KEY=your_api_key # OpenAI 格式 API 密钥
SILICON_FLOW_API_KEY=your_api_key # Silicon Flow API 密钥，用于 ASR, ReRank
BEMFA_UID=your_bemfa_uid # 巴法云平台 UID（可选）
BEMFA_TOPIC=your_bemfa_topic # 巴法云平台 Topic（可选）
KIMI_PROFILE_PATH=path_to_chrome_profile # Chrome 用户数据目录（可选）
LOCATION=your_location # 你的地理位置（可选）
LLM_MODEL=your_llm_model # 使用的 LLM 模型，默认使用 Qwen2.5-7B-Instruct

关于获取 OPENAI 格式的 API 密钥和 API 基础 URL，可参考项目文档。

4. 启动方式

OmniSteward 支持两种使用方式，即命令行模式（CLI）和 Web 模式，您可以根据实际需求选择合适的启动方式。

4.1 命令行模式（CLI）

1. 麦克风语音输入模式： 首先，启动 VAD（语音活动检测）服务，在命令行中输入：

   python -m servers.vad_rpc 
   

   启动 VAD 服务后，新开一个命令行窗口，执行以下命令使环境变量生效并运行 CLI：

call examples\env.cmd python -m core.cli --config configs/cli.py ``` 更多关于麦克风语音输入模式的详细信息，可查看 examples/cli_voice.cmd 文件。

2. 文字输入模式： 若您希望使用文字输入方式与 OmniSteward 交互，在配置好环境变量后，在命令行中输入：

call examples\env.cmd python -m core.cli --query"打开网易云音乐"--config configs/cli.py ``` 您可以将双引号中的指令替换为您实际需要执行的操作。例如，如果您想查询天气信息，可将指令改为'查询今天北京的天气'。

3. 简单添加自定义工具： 如果您想要添加自定义工具，确保环境变量已生效，然后在命令行中输入：

call examples\env.cmd python -m core.cli --query"打印 你好"--config configs/cli_custom_tool.py ``` 此示例在 configs/cli_custom_tool.py 文件中添加了一个简单的打印工具，您可以查看该文件了解如何添加自定义工具。您可以根据自己的需求修改该文件，实现更复杂的自定义功能。

4.2 Web 模式

1. 环境变量配置： 在使用 Web 模式之前，要先在 examples/env.cmd 文件中正确配置环境变量，尤其是 Silicon Flow API 密钥，否则系统将无法正常运行。

2. 启动后端服务： 在项目根目录下，执行以下命令配置环境变量并启动后端服务：

call examples\env.cmd python -m servers.steward --config configs/backend.py ```

3. 启动前端服务： 前端服务的启动请详见 OmniSteward - Frontend 项目的相关说明。一般来说，您需要按照该项目提供的步骤进行安装和启动操作。

4. 使用： 完成后端和前端服务的启动后，使用 Chrome/Edge 浏览器，打开 http://localhost:8000，即可开始使用 OmniSteward。如果您需要在外网使用，由于 Chrome/Edge 默认禁止 HTTP 下的麦克风，您需要进行额外的设置。具体操作是，在浏览器地址栏中输入 chrome://flags/#unsafely_treat_insecure_origin_as_secure，将其值设置为 http://ip:port（其中 ip 为您的服务器 IP 地址，port 为端口号）。手机上使用时，同样可以使用 Chrome 或者 Edge 浏览器，打开 http://ip:port，并按照上述方法进行设置后即可开始使用。

应用场景与未来展望

家庭生活场景

在家庭生活中，OmniSteward 成为智能家居的控制中心。早晨，用户可通过语音指令让其打开窗帘、播放音乐，开启美好的一天；晚上，可控制灯光关闭、设置闹钟等。做家务时，能随时查询菜谱、获取清洁技巧。还可用于家庭账单查询、日程安排等，使家庭生活更加有序。

办公学习场景

在办公场景下，帮助用户快速启动办公软件、查找资料、管理文件，如'打开 PPT 并切换到演示模式''查找项目相关文档''总结报告要点'等指令，有效提高办公效率。对于学生学习，可作为智能学习伙伴，解答学习问题、推荐学习资源，如'解释物理公式''推荐数学学习网站'等，助力学习进步。

未来发展趋势

随着技术的不断进步，OmniSteward 将在更多领域发挥重要作用。在智能家居方面，与更多设备深度集成，实现更个性化的家居控制；在智能健康领域，与健康监测设备结合提供健康建议；在智能交通领域，与车辆系统对接实现语音控制和交通信息查询。其模型将不断优化，功能持续拓展，为用户带来更加智能、便捷、舒适的生活体验。

结语

OmniSteward 作为一款充满潜力的全能 AI 管家系统，以其丰富的功能、先进的技术架构和广阔的应用前景，为我们展示了智能生活的美好画卷。尽管目前仍处于积极开发阶段，部分功能有待完善，但它已经迈出了坚实的步伐。在未来，随着技术的持续创新和应用场景的不断拓展，OmniSteward 有望成为智能生活领域的核心应用，彻底改变我们与智能设备的交互方式。

项目地址：https://github.com/OmniSteward/OmniSteward