HuggingFace Daily Papers· Yujian Liu, Li An, Zelin He, Jacob Helwig, Jiabao Ji, Rohit Jain, Siyu Zhu, Shiyu Chang·· 6 天前AI 评分45
AI 研究团队自主发现线性注意力架构
Building AI Research Teams for Autonomous Discovery of Linear Attention Architectures
AI 导读
研究团队构建多学科 AI 研究员,通过自适应分配实验预算,在 1.3B 规模下超越 GDN2,语言建模与推理任务表现更优。移除任一组织组件均导致发现能力显著下降。
来源:HuggingFace Daily Papers · arxiv.org