OmniSteward：基于大语言模型的智能管家系统

一、前言

在科技日新月异的今天，人工智能正以前所未有的速度改变着我们的生活方式。OmniSteward 作为一款基于大语言模型的全能 AI 管家系统，致力于打破人机交互的壁垒，为用户打造一个智能、高效、便捷的生活和工作环境。

二、项目概述

OmniSteward 是一个正在积极开发中的全能管家系统，它借助大语言模型的强大能力，实现了与用户的语音和文字交互，旨在帮助用户轻松控制智能家居设备以及管理电脑程序。该项目遵循 MIT License 开源协议。其具备诸多亮点，如支持多轮对话、可调用工具执行复杂任务、兼容多种 LLM 模型且拓展性强，用户能够方便地自定义和分享工具。

三、功能特性

1. 多模态交互体验
   • OmniSteward 提供了语音和文字两种交互模式。语音交互利用先进的语音识别技术，准确理解用户的语音指令；文字交互则为用户提供了精确表达复杂需求的途径。支持多轮对话功能，系统能够依据之前的对话内容和上下文，连续回答用户问题。
2. 强大的功能集成
   • 智能家居控制：与巴法云等平台对接，用户可通过语音或文字指令控制家中的灯光、电器、窗帘等设备。
   • 电脑程序管理：轻松实现电脑程序的启动、关闭以及运行状态查看。
   • 在线信息检索：借助 step_web_search 工具和 Kimi AI，用户能快速获取各类在线信息。
   • 文件管理：支持文件检索、读写、压缩文件夹和列出文件夹内容等操作。
   • 命令行操作：满足专业用户对命令行操作的需求，用户可通过语音或文字执行复杂的命令行任务。
3. 模型灵活性与拓展性
   • 支持多种大语言模型，用户可根据自身喜好和需求切换。同时，系统具有很强的拓展性，用户能够方便地自定义工具，还可以将其分享给其他用户。

四、技术架构

语音处理技术采用 pyaudio 和 sounddevice 等技术进行语音处理。pyaudio 负责音频的输入输出，sounddevice 则在音频设备管理方面发挥关键作用。 AI 模型应用集成了 Qwen2.5、BGE Reranker 和 Silero VAD 等先进模型。Qwen2.5 作为核心语言模型；BGE Reranker 用于优化搜索结果排序；Silero VAD 实现精准的语音活动检测。 Web 服务架构后端基于 Flask 框架构建 Web 服务，利用 zerorpc 实现高效的远程过程调用。 浏览器自动化技术运用 Selenium 实现浏览器自动化操作。 其他辅助技术requests 用于发送 HTTP 请求，beautifulsoup4 用于解析 HTML 和 XML 文档。

五、安装与使用

1、系统要求

确保您的设备已安装 Python 3.8 及以上版本。需安装 Chrome 浏览器，这是用于实现 Kimi AI 功能的必要组件。目前主要在 Windows 操作系统上进行了功能测试。

2、安装步骤

1. 克隆仓库：

git clone https://github.com/OmniSteward/OmniSteward.git 
cd OmniSteward

2. 安装依赖：