HuggingFace Daily Papers· Sihan Yang, Jie Huang, Hanxuan Li, Yifan Guo, Weigao Sun, Yiran Zhong, Weiyang Liu·· 3 天前AI 评分45
TTR-Compressor:基于测试时回归的序列压缩方法
Rethinking Sequence Compression with Test-time Regression
AI 导读
TTR-Compressor 通过测试时回归实现序列压缩,在块级稀疏注意力中显著提升 RULER 性能,在多模态模型视觉 token 合并中减少 55.6% token 量且匹配标准 MLP 合并效果。该方法为高效语言和多模态模型提供新压缩方案。
来源:HuggingFace Daily Papers · arxiv.org