跳到正文
10月23日周五
10月22日周四
  1. HuggingFace Daily Papers40

    自回归视频生成模型中的未来块预测方法

    研究提出未来块预测(FCP)辅助目标,通过预测时间分离的视频块来提升视觉演化建模能力。FCP 在无需额外预训练视觉编码器的情况下,以更低训练计算成本实现更优物理合理性。该方法可能促进更结构化的表示空间构建,对自回归世界模型开发有潜在价值。

10月21日周三
  1. HuggingFace Daily Papers65

    Joints, Camera, Action! 协同生成任意骨骼结构的3D运动与视频

    研究人员提出了一种新模型,能够直接协同生成任意骨骼结构的3D运动和视频,同时定位关节位置并恢复相机姿态。该模型通过分离运动模型与视频模型,使用交叉注意力层连接,支持从文本生成多样化骨骼动画,并能将视频转换为骨骼运动,实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对,评估显示该方法比视频优先管道更忠实于原始动作。

10月20日周二
  1. HuggingFace Daily Papers45

    InfiniDream: 通过程序化生成实现开放式的逼真 3D 世界

    InfiniDream 是一个 VLM 驱动的开放式程序化 3D 世界生成框架,通过符号约束资产生成和端到端文本到世界管道,支持创建新型逼真资产和大规模 3D 场景。在 100 个对象和 20 个场景生成任务中,该框架在四个感知指标上表现更优,并通过多样性分析和人类偏好评估验证有效性。

  2. HuggingFace Daily Papers55

    EgoXperience: 从人类经验学习基于世界中心的第一人称表示

    研究人员提出EgoXperience,一个全栈范式,通过数据收集、自动标注、统一建模和基准测试解决第一人称视频中人类活动重建的一致性问题。该研究包含EgoX-Engine自动标注引擎、EgoX-Data-6M数据集和EgoX模型,在单目第一人称视频输入下实现了相机、场景、手部和物体的联合度量重建,实验显示在场景估计和世界空间手-物体姿态恢复方面达到SOTA性能。

  3. HuggingFace Daily Papers40

    RLSplat: 资源线性预算控制的前馈 3D Gaussian Splatting

    RLSplat 提出资源线性预算控制的前馈 3D Gaussian Splatting 框架,其表示大小、推理延迟和峰值内存随高斯预算减少线性下降。零样本评估显示,RLSplat 在各预算下均优于现有方法,低预算时运行速度提升 4.1 倍,峰值内存减少 9.6 倍,且仅需 1/4 高斯数量即可超越最强基线。

10月19日周一
10月18日周日
1月10日周六
  1. Berkeley AI Research65

    信息驱动的成像系统设计

    加州大学伯克利分校研究团队提出了一种基于信息内容的成像系统评估与优化框架IDEAL,可直接从测量数据量化成像系统性能,无需重建算法。该框架在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证了信息估计与下游任务性能的相关性,并能优化系统参数达到与端到端方法相当的效果。

    推荐理由:原文提出了基于信息内容的成像系统评估与优化框架,可直接应用于多种成像领域。