vLLM实现双向KV传输提升多轮智能体工作负载TTFT性能

AWS展示了vLLM中的双向KV缓存传输技术，通过在预填充和解码节点间共享KV缓存，减少多轮对话中的重复计算。在Amazon EC2 P5en实例测试中，Qwen3-32B和GLM-5-FP8模型的TTFT分别降低1.6倍和3.3倍。该技术需要配置块保留TTL和重新计算阈值，并通过KV缓存感知路由器协调。