量子位· 思邈·· 5 天前AI 评分72
是石科技发布TokenFleet集群调度框架,国产推理效率再提升
首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效
AI 导读
是石科技发布TokenFleet分布式调度框架,通过请求路由、跨机房容量协同和混合负载治理,在GLM5.3测试中实现P95首Token延迟降低32.4%,达标输出吞吐提高约29.4%。该框架包含TokenPilot智能推理路由、FleetMind跨机房执行和SLOMax分类队列三项核心技术,旨在提高GPU集群的有效Token产出。
来源:量子位 · qbitai.com