具身智能 AI 小车图形化编程 Mixly MQTT MCP 控制

4-2 重点知识

• 理解具身智能的核心理念与技术架构
• 掌握 AI 大模型与物理机器人的协同工作流程
• 实践多协议通信（串口/MQTT/MCP）在边缘智能中的应用
• 构建属于自己的'会听、会想、会动'的 AI 智能体
• 为后续参与机器人竞赛、创客项目或 AIoT 开发打下坚实基础

4-3 数据或 AI 平台应用

1. 【MQTT 通信】协议的应用（编程软件自带，无需另外注册），本项目例程应用不说明，自行另外扩展用。
2. 小智 AI 开源平台：支持语音交互，可识别动作指令（前进、后退等）并控制车身及头部 RGB 灯。第一组：AI 大脑里的 4 个 W25Q64 RGB 灯，控制时说 AI 头灯；第二组：车身上或说车灯、车子的灯有 8 个 WS2812 RGB 彩灯名字叫 Car_RGB_LED_Array_8，两组灯是两个不同的主板控制的；可以通过 Active4WD_Controller 4 驱车轮语音指令控制我的动作，运行方向：前进，后退，左转，右转，停止，当我听到小车动作的指令时我会马上执行，不说废话。
3. 【MCP 通信】协议的理解

4-4 项目应用例程

本教程中不举例 MQTT 的应用，相关应用可以参考【AiTall_MQTT】

1. AiTall mini 通过串口控制小车的 RGB 灯 程序功能说明：当你跟他的对话中，有检索到设置的对应词时，小车就会做出对应的动作响应，比如：开灯，关灯，要能完全对上的词，包括你说的一句话中只要包含这个词就可以。 ![图片]

2. AiTallmini 通过串口控制小车的 RGB 灯及小车的前后左右移动 程序功能说明：当你跟他的对话中，有检索到设置的对应词时，小车就会做出对应的动作响应，比如：小车左转，小车右转，要能完全对上的词，包括你说的一句话中只要包含这个词就可以。。 ![图片]

3. AiTallmini 通过 MCP 控制小车的 RGB 灯 程序功能说明：控制时尽量说：车身上的彩灯，因为编程给的提示词就是：车身上的 8 个 RGB 彩灯，所以要对应，多用几次后他会自动意会你的意思。用语言跟他沟通好 WS2812 是车身上的灯，AI 头上的灯叫 W25Q64，定义好后就可以控制了。 ![图片]

4. AiTallmini 通过 MCP 控制小车的 RGB 灯加移动控制 增加了更多的动作控制，不但有 RGB 还可以与小车的动作互动，意图理解。 ![图片]

5. 小车加手柄综合应用控制 线上线下同步控制，可以用手柄控制小车，同时还可以 MCP 控制小画的动作及 AI 对话。 ![图片]

五、拓展项目应用

5-1 功能

5.1.1 语音交互增强功能

• 语音唤醒与指令识别：利用小智 AI 开源平台进一步提升语音指令识别的准确性和多样性，支持更多自然语言指令，如'小车，去帮我把那个红色的球拿过来'。
• 语音反馈与交互：让小车具备语音反馈能力（语音合成播报），当接收到指令并执行相应操作后，通过语音向用户反馈操作结果，如'我已经到达指定位置'或'任务完成，正在返回'。

5.1.2 视觉感知功能

• 物体识别与追踪：为小车配备摄像头模块，结合计算机视觉算法，使小车能够识别特定物体，如特定的颜色、形状或标志。当识别到目标物体后，小车可以自动追踪该物体，实现跟随功能，例如跟随一个带有特定标记的物体移动。
• 环境感知与避障：利用摄像头或其他传感器（如超声波传感器）实现更高级的环境感知能力。小车可以实时检测周围环境中的障碍物，并根据障碍物的位置和距离自动规划路径，避开障碍物，实现更加智能的自主导航。

5.1.3 多车协同功能

• 车与车之间的通信：通过 MCP 协议或其他通信方式，实现多辆小车之间的信息交互。例如，一辆小车发现目标物体后，可以将目标物体的位置信息发送给其他小车，实现多车协同搜索和任务分配。
• 编队行驶：设计多车编队行驶算法，使多辆小车能够按照一定的队形（如直线、三角形等）协同行驶，保持相对固定的距离和角度，模拟现实中的车队行驶场景。

5-2 技术端

5.2.1 算法优化与升级

• 深度学习算法应用：引入深度学习算法，如卷积神经网络（CNN）用于物体识别，循环神经网络（RNN）或其变体（如 LSTM、GRU）用于语音识别和自然语言处理，提升小车对复杂指令和环境的理解能力。
• 强化学习算法应用：采用强化学习算法让小车在不断与环境交互的过程中学习最优的行为策略。例如，通过设置奖励机制，让小车在自主导航过程中学习如何更快、更安全地到达目标位置。

5.2.2 通信技术升级

• 5G 通信技术应用：如果条件允许，将 5G 通信技术引入小车通信系统，利用 5G 的高速率、低延迟和大容量特性，实现更高效、稳定的人-AI-小车通信，支持更复杂的实时交互和远程控制。
• 蓝牙 Mesh 网络应用：利用蓝牙 Mesh 网络技术实现小车与其他蓝牙设备（如智能家居设备）之间的互联互通，拓展小车的应用场景，例如小车可以与智能门锁、智能灯光等设备进行联动，实现更加智能化的家居控制。

5.2.3 硬件升级与扩展

• 高性能主控芯片更换：考虑将小车的主控芯片升级为性能更强大的芯片，如树莓派系列或其他高性能嵌入式处理器，以支持更复杂的算法运行和更多的功能扩展。
• 传感器模块扩展：根据需要扩展更多类型的传感器模块，如温度传感器、湿度传感器、气体传感器等，使小车能够感知更多的环境信息，实现更多元化的应用，如环境监测、灾害预警等。

5-3 场景深化打造

5.3.1 智能家居场景

• 智能物流配送：在智能家居环境中，让小车承担物流配送任务，如将用户需要的物品从仓库（如储物间）运送到指定位置（如客厅、卧室），实现家居内部的智能物流。
• 智能安防巡逻：小车配备摄像头和传感器，在家庭环境中进行定时巡逻，实时监测异常情况，如陌生人闯入、火灾隐患等，并及时向用户发送警报信息。

5.3.2 教育场景

• 编程教学助手：利用小车的可编程特性，将其作为编程教学工具，设计一系列有趣的编程任务和项目，帮助学生学习编程知识和机器人控制原理，培养学生的逻辑思维和创新能力。
• 科学实验平台：将小车作为科学实验平台，开展与机器人技术、传感器技术、通信技术等相关的科学实验，让学生在实践中深入理解科学原理，提高动手能力和科学素养。

5.3.3 娱乐场景

• 智能游戏伙伴：设计各种基于小车的智能游戏，如赛车游戏、寻宝游戏等，让用户与小车进行互动游戏，增加娱乐性和趣味性。
• 虚拟现实（VR）/增强现实（AR）融合体验：结合 VR/AR 技术，为用户提供更加沉浸式的娱乐体验。例如，用户通过 VR 设备控制小车在虚拟环境中行驶，同时小车的实际动作与虚拟环境中的场景相互映射，实现虚实结合的娱乐效果。

5-4 实施路径

5.4.1 需求分析与规划

对拓展项目的功能需求、技术需求和应用场景进行详细分析，制定明确的项目目标和实施计划。确定项目的优先级和时间节点，合理分配资源。

5.4.2 技术研发与实现

根据项目计划，逐步开展技术研发工作。对于算法优化和升级，组织相关人员进行算法研究和实验验证；对于通信技术升级和硬件升级扩展，采购所需的设备和模块，进行系统集成和调试。 在开发过程中，采用敏捷开发方法，及时进行代码审查和测试，确保项目的质量和进度。

5.4.3 场景测试与优化

在完成技术研发后，将小车放置在相应的应用场景中进行测试。收集测试数据和用户反馈，对小车的性能、功能和用户体验进行全面评估。 根据测试结果和用户反馈，对小车进行优化和改进，解决存在的问题和不足，提升小车的稳定性和可靠性。