跳到正文
10月23日周五
  1. HuggingFace Daily Papers35

    视频:通过阅读、写作、共享与交互理解世界

    这篇综述以世界建模为统一框架,分析视频基础模型与视频世界模型的关系,提出四种互补操作:从视频中推断世界属性、根据世界条件合成视频、通过共享建模机制整合理解与生成、在动作与观测下预测和更新世界状态。研究强调从片段级识别向持久状态、可控演化及物理因果有效性的转变,并指出当前面临的开放挑战。

  2. HuggingFace Daily Papers40

    Factor-Aware Predictive Learning for Cinematic Video Generation

    研究提出 Factor-Aware Predictive Learning (FAPL),提升多模态大语言模型在电影视频生成中的特征利用与时间推理能力。该方法通过三阶段训练,在稀疏输入转视频、因子感知编辑和多镜头生成任务上超越基线模型。实验验证了 FAPL 对 MLLM 特征使用、时间控制和因子协调的改进效果。

10月22日周四
  1. HuggingFace Daily Papers40

    自回归视频生成模型中的未来块预测方法

    研究提出未来块预测(FCP)辅助目标,通过预测时间分离的视频块来提升视觉演化建模能力。FCP 在无需额外预训练视觉编码器的情况下,以更低训练计算成本实现更优物理合理性。该方法可能促进更结构化的表示空间构建,对自回归世界模型开发有潜在价值。

10月21日周三
  1. HuggingFace Daily Papers65

    Joints, Camera, Action! 协同生成任意骨骼结构的3D运动与视频

    研究人员提出了一种新模型,能够直接协同生成任意骨骼结构的3D运动和视频,同时定位关节位置并恢复相机姿态。该模型通过分离运动模型与视频模型,使用交叉注意力层连接,支持从文本生成多样化骨骼动画,并能将视频转换为骨骼运动,实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对,评估显示该方法比视频优先管道更忠实于原始动作。

  2. HuggingFace Daily Papers75

    Matrix-Game 4.0:利用视频模型实现实时可玩游戏世界

    Matrix-Game 4.0通过分离游戏执行与视觉生成,实现了480p分辨率、60FPS的实时游戏体验,在NVIDIA RTX5090上按键到显示延迟为112ms。该系统使用轻量级游戏引擎维护世界状态,多模态编码代理将玩家想法转化为游戏代码,基于自回归视频模型的渲染器将引擎渲染的低多边形代理转换为详细视觉效果。

    同一件事,精选收录的是《昆仑万维发布Matrix-Game 4.0视频大模型游戏》

10月20日周二
10月19日周一
10月18日周日