智能咖啡厅助手：人形机器人 + 融合大模型，行为驱动的智能咖啡厅机器人
1. 大赛简介
本项目是'机器人大模型与具身智能挑战赛'的参赛作品。目标是结合前沿的大模型技术和具身智能技术，开发能在模拟的咖啡厅场景中承担服务员角色并自主完成各种具身任务的智能机器人。
1.1 赛题设计
大赛包含规定任务和开放任务两个赛道。总体目标任务是在仿真环境中，参赛者通过大模型训练机器人在咖啡厅场景成为合格的咖啡厅服务员。这项比赛的考核要点是将大语言模型（LLMs）整合到机器人系统中，开发能够理解自然语言并以友好和有效的方式与人类互动，并能在咖啡店仿真场景中自主完成各种服务任务的智能机器人。
选手可以按照一般常识性理解，进行机器人任务设定和训练。在仿真场景中，机器人可以与可交互的物品和 NPC 进行互动操作的训练，比如：咖啡店服务员与顾客（NPC）互动、接受和执行订单以及回答有关菜单的问题、导航、操作咖啡机、清理桌子/地面、开空调/开灯、递送咖啡/饮料/食物等。
考核要点
- 主动探索和记忆（Active Exploration and Memorization）：机器人在环境中通过主动探索获得各种环境信息，实现对位置环境的感知，形成以环境感知信息以及运动轨迹等历史信息维护一个机器人自身的记忆库。
- 场景多轮对话（Grounded Question Answering）：多轮对话要求机器人智能体具有与人进行流畅的交流能力，具身对话是机器人利用视觉等传感器获得的场景信息基础上，完成于场景相关的对话。
- 视觉语言导航（Vision Language Navigation）：导航是构建智能机器人的一个基本要素。在现实场景中，一个机器人要在不同的场景下承担多种复杂的导航任务。模拟器支持多任务的现实世界导航和物体互动。对于这个任务中的导航，尽管有传统的 ObjectNav 和 PointNav，你可以利用的环境完成简单到复杂的视觉语言导航，并有不同难度的指示，以及交流导航，机器人智能体可以在导航中寻求帮助。
- 视觉语言操作（Vision Language Manipulation）：抓取是指机器人使用机械臂抓取物体并将其从一个原始位置移动到目标位置的动作。尽管机器人学习算法在现有的挑战上取得了很大的突破和改进，但仍有许多问题亟待解决。这项任务要求机器人按照视觉和语言的场景描述来抓取一个物体。虽然 Saycan 和 RT-1 在以前的研究中被用来实现使用 Deep-RL 算法的抓取，但这项任务更侧重于在现实环境中抓取薄、大、平、软的物体，避免碰撞，以及多任务抓取。参赛者需要根据大语言模型提供的指令，解决在不同场景下抓取不同物体的问题。具体抓取物品的技能需要参赛者基于提供的环境和工具接口，通过强化学习等方式进行训练。
1.2 评估标准
参赛队必须将 LLMs 纳入其机器人系统，以促进自然语言的理解和互动。比赛将根据以下标准来评估机器人系统的性能：
- 任务完成的准确性和效率：参赛者将被评估任务完成的准确性和效率，包括物体操作、导航到准确位置的精度，执行推理速度，订单执行和人机互动。机器人必须准确、高效地完成任务，才能获得分数。
- 人与机器人的互动：参赛者将被评估其机器人与顾客和工作人员互动的自然度和友好度。机器人必须以自然和友好的方式进行交流，以获得积分。
- 时间限制：参赛者将有规定的时间来完成任务，在规定时间内得分最高的团队将被宣布为获胜者。
1.3 技术融合与挑战
在该研究中，非常有意思的是达闼机器人还设计了两个具有挑战性的赛题，在对话人员中加入了'店长'这一角色。机器人除了需要作为服务员响应相关顾客的消费需求，还需要与店长'对接'工作，实现人机协同。
在店长与机器人的交互中，又衍生出了更加复杂的任务，机器人需要完成'领导交办的其他任务'。例如店长说好像地面不干净了，机器人就要理解这话什么意思，判断意思是我可能还要去再清洁一下卫生。类似的机器人触发式任务，非常考验机器人环境职责定义和自主动作选择，需要最终机器人能够像是真正的咖啡厅服务人员，具备各种各样的附加能力，做到类似'阴天开灯'、'水洒擦桌子'等随机性事件的自主化观察和处理，为真正落地应用部署打下基础。
大模型对于实际场景的价值仍然处于发掘期，本次大赛中，大模型对于机器人技术的实际提升无疑是一个很大的亮点。本次比赛着重体现了大模型技术应用思维链（CoT）能力的价值。该能力主要体现在机器人接到任务后，对于任务的分解，从而基于思维推理形成思路链，该方式相较原先的固定化编程和深度学习，机器人可以借助大语言模型，实现自然语言到机器语言的理解、转化，最终完成两者的对齐，从而自主化执行任务。
这也意味着，机器人和大模型深度结合后，在未来如果进一步实现了零样本学习（zero-shot），依托这两项技术，机器人也可以借助大模型实现关节运动控制，从而无需对机器人身体部位、动作的轨迹进行编程，真正做到零代码编程。
在这个比赛流程中，就看到了智能服务机器人在语音、视觉、导航、操作等方面的落地可能性。机器人进入陌生场景，首先会进行环境的主动探索与记忆，感知、判断不同物体和属性，实现记忆数据记录和调取。在此基础上，随后机器人开始在咖啡厅场景里与人进行交流对话，拆解任务信息。在执行层面，机器人需要借助视觉语言模型，拆分指令并实现具体动作，例如人说想喝水，机器人就需要拿取水杯、用水壶去倒水，并把水送给客人。