跳到正文
IT之家·· 7 天前AI 评分42

英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍

AI 导读

英伟达通过 vLLM 优化使 2.8 万亿参数的 Kimi K3 模型达到 423 tok/s/user 推理速度,性能提升 1.68 倍。该优化采用大规模 Megakernel 融合技术,包含 1.2 万行代码。英伟达同时为 DeepSeek V4.1 等模型开发类似优化。

来源:IT之家 · ithome.com