智能体缓存工程研究

Tianyu Fu等人提出了一种新的缓存工程方案，允许智能体直接控制KV缓存而不修改轨迹或重新填充保留上下文。实验显示，该方案在基准测试中平均提高1.7分，降低27.7%成本，并实现1.2倍输出吞吐量和1.5倍P95请求延迟加速。