智能体缓存工程研究
Tianyu Fu等人提出了一种新的缓存工程方案,允许智能体直接控制KV缓存而不修改轨迹或重新填充保留上下文。实验显示,该方案在基准测试中平均提高1.7分,降低27.7%成本,并实现1.2倍输出吞吐量和1.5倍P95请求延迟加速。
推荐理由:通过直接控制KV缓存而非修改轨迹,解决了智能体长任务中的缓存效率问题,但历史依赖性给服务引擎带来新挑战。
自动盯住上百个信源,用模型摘要、打分、精选,把同一件事的多篇报道归到一起,每天早上出一份日报。聚焦机器人、AI 与财经投资。
Tianyu Fu等人提出了一种新的缓存工程方案,允许智能体直接控制KV缓存而不修改轨迹或重新填充保留上下文。实验显示,该方案在基准测试中平均提高1.7分,降低27.7%成本,并实现1.2倍输出吞吐量和1.5倍P95请求延迟加速。
推荐理由:通过直接控制KV缓存而非修改轨迹,解决了智能体长任务中的缓存效率问题,但历史依赖性给服务引擎带来新挑战。
SARAM提出了一种终身学习框架,通过复用冻结适配器和仅在选定层引入新适配器,限制存储增长同时保持GPU内存和推理成本与任务流长度无关。在四个LIBERO套件中,SARAM匹配或超过基于适配器的方法,同时每个任务减少最多4.5倍的磁盘状态。在真实UR5机械臂上的实验进一步验证了其在顺序任务流中的保留能力。
推荐理由:通过复用和稀疏分配适配器,SARAM解决了机器人终身学习中存储和部署成本随任务增长的问题。