Latent Space· Latent Space·· 4 天前精选AI 评分85
DeepSeek开源DeepInfer高性能推理框架
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek开源了其生产级推理框架DeepInfer，支持高达155万亿tokens/天的集群吞吐量，在非高峰时段每卡每小时收入达38美元，约80%的推理利润率，81天可收回成本。该框架基于vLLM定制，添加了优化的KV缓存、预填充/解码分离和负载平衡等功能，支持NVIDIA SM100和华为Ascend 950平台。
推荐理由
开放高性能推理框架DeepInfer将155T tokens/天的吞吐量转化为$22m日收入，开源与商业边界正在重构。
来源：Latent Space · latent.space