跳到正文
HuggingFace Daily Papers· Yujian Liu, Li An, Zelin He, Jacob Helwig, Jiabao Ji, Rohit Jain, Siyu Zhu, Shiyu Chang·· 6 天前AI 评分45

AI 研究团队自主发现线性注意力架构

Building AI Research Teams for Autonomous Discovery of Linear Attention Architectures

AI 导读

研究团队构建多学科 AI 研究员,通过自适应分配实验预算,在 1.3B 规模下超越 GDN2,语言建模与推理任务表现更优。移除任一组织组件均导致发现能力显著下降。

来源:HuggingFace Daily Papers · arxiv.org