DeepSeek 开源内部推理框架 DeepInfer

DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，旨在帮助开发者与企业优化大规模推理的吞吐与延迟，降低算力成本和能源消耗。该框架集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码等能力，兼容英伟达与华为昇腾平台。