近日,Meta AI 发布了 Segment Anything Model(SAM)系列的新成员——SAM 3D,这是一套能帮我们更好地'看懂'和重建真实世界三维结构的智能工具。如果你在做 AR/VR、游戏开发,或者需要快速生成3D内容,这套模型可能会让你眼前一亮。
SAM 3D 其实包含两个'搭档':一个叫 SAM 3D Objects,专门用来从普通图像或视频中还原物体和场景的3D形状;另一个是 SAM 3D Body,专注于识别人的身体姿态和轮廓,生成逼真的人体3D模型。这项技术的突破,意味着我们离用日常数据轻松构建数字世界的愿景又近了一步。
在日常生活中,我们能轻易地从一张照片中感知到物体的三维形状,但对计算机而言,这是一个巨大的挑战。主要难题在于,我们缺少海量的、带有精确三维模型的真实世界图片来训练人工智能。现有的模型大多在干净的、单个物体的合成图像上表现不错,一旦进入充满遮挡和混乱的真实场景,效果就大打折扣,这极大地限制了3D技术在机器人、增强现实等领域的应用。
为了攻克这一难题,本论文提出了一个结合合成数据与真实世界数据进行多阶段训练的生成模型框架。这个名为SAM 3D的模型,通过一个创新的'人与模型在环'的数据标注流程,以前所未有的规模收集了真实世界图像的3D数据。最终,SAM 3D在处理真实、复杂的图像时,其3D重建效果远超现有方法,在人类偏好测试中获得了压倒性的胜利,为实现'万物皆可3D化'迈出了关键一步。
另外我整理了计算机视觉入门指南,包含:机器学习数学神书、Python+机器学习+深度学习系列课程、图像处理、目标检测、SCI论文写作技巧、绘图模板等干货资料,感兴趣的自取。
一、论文基本信息

论文标题: SAM 3D: 3Dfy Anything in Images
作者姓名: SAM 3D Team Xingyu Chen,Fu-Jen Chu,Pierre Gleize,Kevin J Liang,Alexander Sax,Hao Tang,Weiyao Wang,Michelle Guo,Thibaut Hardin,Xiang Li,Aohan Lin,Jiawei Liu,Ziqi Ma,Anushka Sagar,Bowen Song,Xiaodong Wang,
Jianing Yang,Bowen Zhang,Piotr Dollar,Georgia Gkioxari,Matt Feiszli,Jitendra Malik
作者单位/机构: Meta Superintelligence Labs
论文链接: SAM 3D Objects: https://ai.meta.com/research/publications/sam-3d-3dfy-anything-in-images/
项目主页: https://ai.meta.com/sam3d/
二、主要贡献与创新

- 发布了SAM 3D,一个能从单张图片精确预测物体完整3D形状、纹理和空间姿态的新基础模型。
- 构建了创新的,以前所未有的规模解决了真实世界3D标注数据稀缺的难题。








