跳到正文
IT之家·· 10 天前精选AI 评分76

蚂蚁百灵开源 Ling-3.1-flash AI 模型,最高支持 1M 上下文

AI 导读

蚂蚁百灵开源 Ling-3.1-flash 模型,总参数约 560B,激活参数约 25B,最高支持 1M 上下文。模型在本地部署中通过量化技术降低权重占用,提供长上下文并行推理方案,并在测试中达到约 1.36 QPS 的吞吐量。

推荐理由

原文提供了开源模型的技术参数、性能数据和部署方案,读者可据此评估其适用场景。

来源:IT之家 · ithome.com