Text-to-Image Generative Modeling Without Language Pretraining

研究团队提出Halcyon模型，一种完全从头开始训练的早期融合多模态自回归模型，在GPIC数据集上预训练。Halcyon-0.52B和Halcyon-1.6B模型在文本到图像生成任务上分别以更少的预训练计算量超越了现有模型，实验表明文本预训练对T2I生成没有明显帮助。代码和模型已公开。