HuggingFace Daily Papers· Liana Patel, Rishabh Ranjan, Ion Stoica, Matei Zaharia, Carlos Guestrin·2026-10-19 04:00· 7 天前精选AI 评分65

TokenGate：通过学习型 token 剪枝实现快速且内存高效的 LLM 预填充

TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning

AI 导读

研究人员提出 TokenGate，一种小型即插即用组件，可扩展现有训练模型以实现端到端可学习的 token 剪枝，用于快速且内存高效的预填充。该技术通过 token 门控注意力机制，在多种任务上实现了 1.4-11.3 倍的首个令牌时间加速和 1.5-3.4 倍的峰值内存降低，同时不损失准确性。

推荐理由

TokenGate 通过可学习的 token 剪枝技术，在保持模型精度的同时显著提升长上下文处理速度和内存效率。