Joints, Camera, Action! 协同生成任意骨骼结构的3D运动与视频

研究人员提出了一种新模型，能够直接协同生成任意骨骼结构的3D运动和视频，同时定位关节位置并恢复相机姿态。该模型通过分离运动模型与视频模型，使用交叉注意力层连接，支持从文本生成多样化骨骼动画，并能将视频转换为骨骼运动，实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对，评估显示该方法比视频优先管道更忠实于原始动作。