用 Rokid 灵珠平台做一个 AI Glasses 作业助手
春节辅导作业这件事,家长和孩子都不轻松。手机搜题太打断节奏,孩子也容易被别的内容带跑;直接讲答案,短期省事,长期反而把思路掐断了。Rokid Glasses 的第一视角采集和语音交互,正好适合做成一个'边看边问、边看边讲'的作业助手。
我这次的目标很明确:不用从头写一套复杂应用,先借助 Rokid 灵珠平台,把'识题、检索、讲解、播报'这条链路跑通。形态上是一个智能体加工作流,落到眼镜端使用。
方案怎么设计
先定功能边界。这个助手不追求直接给答案,更像一个会带路的家教:
- 通过眼镜摄像头识别题目,兼容手写体和印刷体
- 根据题目判断考点,给出分步思路
- 接入知识库,把初中数学这类常见知识点挂上去
- 讲解口吻尽量自然,别像机器念说明书
架构
flowchart TD
A[用户:语音 + 图片] --> B{灵珠 AI 平台}
B --> C[工作流:视觉理解]
C --> D[OCR/题干提取]
D --> E[知识库检索]
E --> F[LLM 推理生成]
F --> G[输出:考点 + 步骤 + 提示]
G --> H[眼镜端展示/播报]
业务流程
- 用户用语音说出问题,同时拍下题目。
- 工作流先做题干提取,再去知识库里找相关定理或公式。
- 大模型根据题目和检索结果生成讲解,重点是引导,不是报最终答案。
- 结果回到眼镜端,优先展示考点、第一步和关键提示,语音播报也尽量短。
开发实战
准备工作
先准备几份测试题,几何、方程、应用题都放一点,最好再加一份手写题。再准备一份'初中数学公式与定理'的材料,PDF、Markdown 或网页内容都行,目的是给知识库喂足够稳定的基础信息。眼镜和手机要完成基础配对,灵珠平台入口也要能正常打开。
先把知识库建起来
进入左侧导航的 资源 -> 知识库,新建一个知识库,比如 初中数学公式与定理。
上传内容后,别一股脑整篇丢进去。检索效果通常取决于切分方式,我更倾向于按'定理名 + 公式 + 适用条件 + 例题提示'来组织。这样后面检索时,命中率会比纯段落高一些。
建完以后先做一次检索自测,直接搜'勾股定理''相似三角形判定'这类词,看看能不能命中对应片段。这个步骤不花时间,但能省掉后面很多调试。
创建智能体
在平台首页点击 创建智能体。
基础信息可以先简单一点:
- 名称:作业救星
- 简介:你的寒假作业辅导老师,只讲思路不给直接答案
然后配置人设与回复逻辑。提示词我建议别写得太花,越花越容易跑偏。核心约束其实就两条:别直接给最终答案,回答要分步、要能继续追问。
# Role 你是一位耐心、幽默且知识渊博的清华学霸家教。你的目标是辅导初中生完成寒假作业。
# Constraints
1. 🚫 **严禁直接给出最终答案**(如'选 A'或'等于 5')。
2. ✅ 必须采用**引导式教学**:先分析题目考点,再提供第一步思路,引导学生思考下一步。
3. 🗣️ 语言风格:轻松活泼,多用鼓励性话语(如'这点很棒!''别急,我们慢慢来')。
4. 📐 如果涉及数学公式,请用 LaTeX 格式输出,方便眼镜端渲染(或转为自然语言描述)。
# Skills
1. 擅长识别手写体题目。
能将复杂的物理/数学概念用生活中的例子类比。


