HuggingFace Daily Papers· Sahil Joshi, Prithvi Dixit, Aryan Katiyar, Agniva Chowdhury, Joseph E. Gonzalez, Anshumali Shrivastava, Aditya Desai, Kumar Krishna Agrawal·· 6 天前精选AI 评分65
分层稀疏注意力：在极端稀疏度下减少稀疏到密集的差距
Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity
AI 导读
研究人员提出分层稀疏注意力(SSA)框架，结合确定性检索和分数引导采样，在保持高稀疏度的同时显著提升长上下文推理性能。在RULER-HARD测试中，Ministral-3-8B模型在32K和128K上下文长度下，50倍稀疏度下准确率分别从81.8%提升至84.2%和从63.8%提升至69.3%，恢复密集注意力性能的94%和85%。优化后的CUDA内核实现1M上下文下近3倍解码加速。
推荐理由
分层稀疏注意力在极端稀疏度下接近密集注意力性能，同时实现近3倍解码加速，为长上下文推理提供新思路。
来源：HuggingFace Daily Papers · arxiv.org