OmniSteward：基于大语言模型的智能家居与电脑控制工具

一、前言

在人工智能快速发展的背景下，OmniSteward 作为一款基于大语言模型的全能 AI 管家系统，致力于打破人机交互的壁垒，为用户打造智能、高效的生活和工作环境。

二、项目概述

OmniSteward 是一个正在积极开发中的全能管家系统，借助大语言模型的强大能力，实现了与用户的语音和文字交互，旨在帮助用户轻松控制智能家居设备以及管理电脑程序。项目遵循 MIT License 开源协议，具备多轮对话、可调用工具执行复杂任务、兼容多种 LLM 模型且拓展性强等特点。

三、功能特性

1. 多模态交互体验
   • 提供语音和文字两种交互模式。支持多轮对话，系统能够依据上下文连续回答用户问题。
2. 强大的功能集成
   • 智能家居控制：对接巴法云等平台，通过指令控制灯光、电器等设备。
   • 电脑程序管理：实现程序的启动、关闭及状态查看。
   • 在线信息检索：借助 step_web_search 工具和 Kimi AI 获取各类在线信息。
   • 文件管理：支持文件检索、读写、压缩等操作。
   • 命令行操作：支持通过语音或文字执行复杂的命令行任务。
3. 模型灵活性与拓展性
   • 支持多种大语言模型切换，用户可自定义工具并分享。

四、技术架构

语音处理技术采用 pyaudio 和 sounddevice 等技术进行语音处理。AI 模型应用集成了 Qwen2.5、BGE Reranker 和 Silero VAD 等先进模型。Web 服务架构后端基于 Flask 框架构建 Web 服务，利用 zerorpc 实现高效的远程过程调用。浏览器自动化技术运用 Selenium 实现浏览器自动化操作。其他辅助技术requests 用于发送 HTTP 请求，beautifulsoup4 用于解析 HTML 和 XML 文档。

五、安装与使用

1、系统要求

确保设备已安装 Python 3.8 及以上版本。需安装 Chrome 浏览器。目前主要在 Windows 操作系统上进行了功能测试。

2、安装步骤

1. 克隆仓库：

   git clone https://github.com/OmniSteward/OmniSteward.git
   cd OmniSteward
   

2. 安装依赖：

   pip install -r requirements.txt
   

3、环境变量配置

打开项目中的 examples/env.cmd 文件，配置以下环境变量：

OPENAI_API_BASE=your_api_base
OPENAI_API_KEY=your_api_key
SILICON_FLOW_API_KEY=your_api_key
BEMFA_UID=your_bemfa_uid
BEMFA_TOPIC=your_bemfa_topic
KIMI_PROFILE_PATH=path_to_chrome_profile
LOCATION=your_location
LLM_MODEL=your_llm_model

备注：获取 OPENAI 格式的 API 密钥和 API 基础 URL 参见官方文档。

4、启动方式

OmniSteward 支持命令行模式（CLI）和 Web 模式。

4.1 命令行模式（CLI）

1. 麦克风语音输入模式： 首先启动 VAD 服务：

   python -m servers.vad_rpc
   

   新开窗口运行 CLI：

   call examples\env.cmd python -m core.cli --config configs/cli.py
   

2. 文字输入模式：

   call examples\env.cmd python -m core.cli --query"打开网易云音乐"--config configs/cli.py
   

3. 添加自定义工具：

   call examples\env.cmd python -m core.cli --query"打印 你好"--config configs/cli_custom_tool.py
   

4.2 Web 模式

1. 启动后端服务：

   call examples\env.cmd python -m servers.steward --config configs/backend.py
   

2. 启动前端服务： 详见 OmniSteward - Frontend 项目说明。
3. 使用： 使用 Chrome/Edge 浏览器打开 http://localhost:8000。若在外网使用，需在浏览器设置中将不安全源视为安全。

六、应用场景与未来展望

1. 家庭生活场景：作为智能家居控制中心，控制窗帘、灯光、播放音乐等。
2. 办公学习场景：快速启动办公软件、查找资料、总结报告要点，或作为智能学习伙伴。
3. 未来发展趋势：与更多设备深度集成，结合健康监测、交通查询等领域。

七、结语

OmniSteward 展示了智能生活的美好前景。尽管仍处于开发阶段，但随着技术创新和应用拓展，有望成为智能生活领域的核心应用。

项目地址：https://github.com/OmniSteward/OmniSteward