一、前言
第一视角人体动捕是 AR/VR 的关键技术，但面临视角受限、严重自遮挡及 3D 标注数据稀缺等难题。本文重点介绍 Meta 发布的 EgoPoseFormer v2 (EPFv2)，并对比分析 DeepSeek OCR2 与 SAM2 的相关机制，同时简述 KTPFormer 在 3D 姿态估计中的应用。
二、EgoPoseFormer v2
论文链接：https://arxiv.org/abs/2603.04090
开源代码（EPFv1）：https://github.com/ChenhongyiYang/egoposeformer
EgoPoseFormer v2 (EPFv2) 是由 Meta、阿卜杜拉国王科技大学等机构的研究者提出，用于解决 AR/VR 场景中的第一视角人体动捕问题，发表在 CVPR 2026。
1. 研究背景与挑战
- 第一视角动捕（Egocentric Motion Capture）：面临视角受限（看不到脚/背）、严重自遮挡（手被物体挡住）以及 3D 标注数据稀缺等难题。
- 前代方法局限：EPFv1 使用可变形注意力机制，计算复杂度高，难以在移动端部署。
2. EPFv2 的核心创新
架构简化与优化：
- 单一整体查询（Single Holistic Query）：取代为每个关节单独设置查询的方式，无论预测多少关节，计算量恒定。
- 投影条件交叉注意力：用 3D 姿态提案投影到 2D 图像平面作为空间引导，替代难以部署的可变形注意力，兼容标准加速框架。
- 因果时间注意力（Causal Temporal Attention）：利用历史帧信息解决抖动和遮挡问题，保持时序一致性。
- 不确定性预测：模型输出每关节的不确定性（置信度），在遮挡区域自动增大不确定性范围。
自动标注系统（ALS）：
- 利用'教师 - 学生'框架，用高质量模型为 7000 万帧无标签野外视频生成伪标签。
- 引入不确定性蒸馏：学生模型不仅学习坐标，还学习教师模型的'信心分布'，自动筛选高质量训练样本。
3. 实验结果
在权威基准 EgoBody3M 上：
- 精度：MPJPE 达到 4.02cm，相比 SOTA 提升 22.4%，相比 EPFv1 提升 15.3%。
- 速度：模型仅 0.83M 参数，在 A100 上推理延迟仅 0.8ms，具备在轻便 AR 眼镜上实时运行的潜力。
4. 应用价值
该技术旨在让 AR/VR 头显中的虚拟化身能丝滑同步用户动作，即使在低头看不到脚或手被遮挡时，依然保持准确、不抖动的姿态估计，为下一代沉浸式交互体验提供技术基础。
三、技术对比：视觉因果流与因果时间注意力
DeepSeek 发布过一项关于图像识别顺序的创新机制，名为'视觉因果流'。这与 Meta EPFv2 模型中的'因果时间注意力'是两个不同的概念。
1. DeepSeek 的'视觉因果流'（空间逻辑重排）
其核心是为单张图像内的视觉元素'排定理解顺序'。它在类语言模型（LLM）架构的编码器内部设置了两种不同的注意力机制来处理两组 Token：
- 视觉 Token：来自图像的 Patch。它们之间采用双向注意力，目的是无差别地感知图像的全局上下文，理解画面中有什么。
