EgoXperience: 从人类经验学习基于世界中心的第一人称表示

研究人员提出EgoXperience，一个全栈范式，通过数据收集、自动标注、统一建模和基准测试解决第一人称视频中人类活动重建的一致性问题。该研究包含EgoX-Engine自动标注引擎、EgoX-Data-6M数据集和EgoX模型，在单目第一人称视频输入下实现了相机、场景、手部和物体的联合度量重建，实验显示在场景估计和世界空间手-物体姿态恢复方面达到SOTA性能。