AWS Machine Learning Blog· Sunita Nadampalli·· 6 天前精选AI 评分70
AWS 推出基于推送的KV传输技术提升vLLM推理性能
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 机器学习博客介绍了基于推送的KV传输技术，用于改进vLLM中解耦推理的TTFT和TPOT。在Amazon EC2 P5en实例上测试，推送模式相比拉取模式实现了最高3倍的TTFT提升和30%的TPOT改善。该技术通过将传输协调工作移至预填充端的后台线程，避免了关键路径上的延迟。
推荐理由
将KV传输从拉取模式改为推送模式，使解码端准备与预填充计算重叠，显著降低了高请求率下的TTFT和TPOT。
来源：AWS Machine Learning Blog · aws.amazon.com