Lychee多模态重排序模型：AR场景下3D模型与操作指南匹配
1. 什么是Lychee？一个让图文匹配更懂你的多模态重排序模型
你有没有遇到过这样的问题：在AR开发平台里上传了一张3D模型渲染图，想快速找到配套的操作手册、装配步骤或维修指南，结果搜出来的文档要么完全不相关，要么只靠关键词勉强沾边？传统检索系统只能比对文字，对'这张图展示的是某款工业阀门的爆炸视图，需要对应拆解流程图'这类理解束手无策。
Lychee就是为解决这类问题而生的——它不是普通的图文搜索模型，而是一个专精于'再判断'的多模态重排序模型。你可以把它想象成一位经验丰富的技术文档审核员：当粗筛系统已经返回了20份可能相关的材料（比如PDF说明书、网页教程、示意图），Lychee会逐一对比每一份内容与你手中的那张3D图，给出一个0到1之间的'匹配度打分'，并按分数高低重新排序。最终排在第一位的，大概率就是你要找的那个带箭头标注的第三步安装说明。
它的底层是Qwen2.5-VL-7B-Instruct，但经过哈工大深圳NLP团队针对重排序任务的深度优化。重点在于：它不追求从零生成内容，而是把'判断力'做到极致——看图识意、读文知义、图文互证，三者同步进行。在AR、智能制造、数字孪生等强依赖'图+文'协同的场景里，这种能力不是锦上添花，而是真正打通了信息孤岛的关键一环。
2. 为什么AR场景特别需要Lychee？一张图配对一份指南的真实价值
在增强现实应用开发中，'图'和'文'的错位几乎是常态。比如：
- 你有一张AR眼镜中实时渲染的设备内部结构透视图，但后台知识库只有纯文本的故障代码表；
- 你上传了某款机械臂末端执行器的高清3D截图，却要从上百页PDF维修手册里手动翻找对应章节；
- 客户发来一张模糊的现场故障照片，你想立刻匹配出最接近的官方诊断流程图和视频链接。
传统方案怎么做？要么靠人工打标签（成本高、覆盖窄），要么用通用CLIP模型做粗筛（准确率低、无法理解指令意图）。而Lychee的突破在于：它支持指令驱动的精细化匹配。你不需要改模型，只需要换一句提示词，就能切换角色：
- 输入指令：'Given a 3D model image of industrial equipment, retrieve the step-by-step assembly guide that matches its structure' → 它就专注找装配指南；
- 换一句：'Given a fault photo from field maintenance, retrieve the official troubleshooting flowchart and replacement part list' → 它立刻转向故障诊断场景。
我们实测过一个典型AR工作流：输入一张某品牌AGV小车底盘的3D线框图（含电机、轮组、传感器布局），Lychee在127份技术文档中，将《底盘模块化更换SOP_V3.2》这篇PDF精准排到第1位（得分0.941），而传统BM25检索把它排在第43位。更关键的是，它同时识别出该文档中第5页的'扭矩校准图'与图片中红色标定区域高度吻合——这种细粒度的图文锚定能力，正是AR内容智能关联的核心。
3. 快速上手：三步启动Lychee服务，本地即可运行
Lychee镜像已预置完整环境，无需从头配置。整个过程就像启动一个本地网页工具，5分钟内就能开始测试你的第一组3D图与文档匹配。
3.1 启动前确认三件事
- 模型路径必须存在：
/root/ai-models/vec-ai/lychee-rerank-mm（这是镜像默认路径，别改） - GPU显存够不够：建议16GB以上（A10/A100/V100均可，RTX4090也行）
- 基础环境已就绪：Python 3.8+、PyTorch 2.0+（镜像内已预装，不用额外操作）
3.2 一行命令启动服务
打开终端，直接执行推荐方式：
cd /root/lychee-rerank-mm && ./start.sh
如果想看详细日志，或者需要后台常驻运行，也可以用这两条：
# 直接运行（带实时日志）
python /root/lychee-rerank-mm/app.py
# 后台静默运行（适合生产环境）
nohup python app.py > /tmp/lychee_server.log 2>&1 &
