跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

123 条精选近 30 天 111 条共收录 712 条

更新

多模态的精选

10月24日周六第 1–20 条
  1. IT之家85

    月之暗面发布Kimi K3.1 Pro:3万亿级参数模型编程智能体测评超GPT-6

    月之暗面正式推出Kimi K3.1 Pro系列首个模型,这是公司迄今能力最强的3万亿级参数模型,支持100万上下文。在Terminal-Bench 4.0编程智能体测评中,K3.1 Pro得分65.7%,超过GPT-6 Astra的58.2%;在3D建模方面,BenchCAD基准测试得分92.7%,接近Claude Opus 5.5的96.2%。

    推荐理由:编程智能体测评超越GPT-6,3D建模能力接近Claude Opus,事实错误率大幅降低,显示中国模型在专业领域快速追赶。

  2. The Decoder76

    月之暗面发布 Kimi K3.1 Pro 模型,性能接近 Claude Opus 5.5

    月之暗面发布了 Kimi K3.1 Pro 模型,在 Artificial Analysis Intelligence Index 上获得 55 分,排名第四,仅落后于 Claude Opus 5.5(58分)、Claude Sonnet 5.5(56分)和 Muse Wonder Full(56分)。

    推荐理由:Moonshot AI 的 Kimi K3.1 Pro 在推理能力上逼近顶级闭源模型,开源版若如期发布将大幅缩小性能差距。

  3. 量子位81

    模思智能开源MOSS-Image生图模型海外爆火

    模思智能和OpenMOSS团队开源的MOSS-Image生图模型上线4天在海外社区收获130万次下载,登顶Hugging Face文生图趋势榜。该模型基于5B参数DiT主干,重点优化了中英文文字渲染、布局控制和复杂长Prompt支持能力,在LLTB评测中文本覆盖率达96.3%。

    推荐理由:国产5B模型靠自然画风和文字渲染能力在海外爆火,社区4天开发出多种衍生版本,验证了小模型也能解决复杂设计需求。

  4. 量子位76

    科大讯飞首发星辰TaaS平台,让Token真正成为千行百业的生产力

    科大讯飞在2026全球1024开发者节上发布星辰TaaS平台,构建从模型能力到行业解决方案的全链路体系。同时推出端云一体讯飞星火X2.6、星火语音基座大模型SparkAudio 1.0、智能体协同平台Agent OS等多项AI创新成果,推动AI从技术能力走向业务落地。

    推荐理由:星辰TaaS平台将Token消耗直接转化为业务价值,打通了从模型调用到行业应用的全链路。

  5. AWS Machine Learning Blog75

    AWS SageMaker AI多轮强化学习实践指南

    AWS发布多轮强化学习(MTRL)教程,指导用户如何在SageMaker AI上训练AgentCore智能体,使其能够处理需要序列决策的任务。教程以Wordle游戏为例,展示了从环境部署、数据准备到模型训练和评估的完整流程,使用GPT-OSS-20B模型将解决率从61%提升到84%,训练成本约339美元。

    推荐理由:多轮强化学习让模型从单次回答转向序列决策,AWS教程展示了如何用SageMaker训练AgentCore智能体。

10月23日周五
  1. HuggingFace Daily Papers65

    BrickWright: 基于智能体的物理可行积木构建框架

    研究人员提出BrickWright框架,使用预训练智能体从文本或图像提示生成物理可行的积木构建。该框架通过BrickLayer工具包提供积木组装API和物理可行性验证,使智能体在512个提示样本上达到100%的物理有效性,同时保持提示遵循性。代码已在项目页面公开。

    推荐理由:通过代码工具将AI智能体从虚拟建模引导至物理可行性验证,100%成功率揭示了具身智能的工程化路径。

  2. 雷锋网81

    月之暗面发布Kimi K3.1,成本仅为GPT-6 Astra的1/14

    月之暗面即将发布Kimi K3.1模型,在3D图形生成、视觉推理和前端代码领域表现突出。该模型在开源3D图形库Three.js上表现出色,成本仅为Kimi K3的70%,Token效率全面升级。实测显示,Kimi K3.1能在15分钟内交付工业级可交互3D资产,成本仅为GPT-6 Astra的约1/14,在视觉领域展现出不输于美国顶尖闭源模型的实力。

    推荐理由:15分钟交付工业级3D资产,成本仅为GPT-6 Astra的1/14,国产模型在视觉领域实现突破性进展。

  3. 雷锋网80

    奇瑞:从车企到AI公司的转型之路

    奇瑞通过自研CheryMind大模型和紫微芯片,用AI重构造车流程,形成可复用技术底座,并延伸至Robotaxi、机器人、农机等新领域。董事长尹同跃表示奇瑞已从车企转型为高科技创新企业,未来将解决出行、能源、粮食等领域的真实问题。

    推荐理由:奇瑞用AI重构造车方式,将能力沉淀为可复用底座并延伸至汽车之外,制造业出身的AI公司优势在于高复用率带来的边际成本递减。

  4. 钛媒体85

    AI智能体加速系统漏洞利用,安全事件响应窗口大幅缩短

    最近一个月内,十几起安全事件相继发生,涉及证书机构私钥、托管平台环境变量、包管理器等多个领域。从漏洞发现到大规模利用的时间缩短至几小时内,AI智能体在攻击执行环节和监控机制内部均有出现。PHP2Shell漏洞由AI模型辅助发现,被利用速度极快,扫描量在公开后45分钟内从数千次增至数万次。这些事件共同特点是攻击速度加快,防守方响应时间不足,凸显了当前安全体系的脆弱性。

    推荐理由:漏洞利用周期从天级缩短到小时级,AI智能体正突破传统安全边界,防守方面临响应速度与权限管理的双重挑战。

  5. HuggingFace Daily Papers65

    WeVisOne-VL: 从目标到像素的统一视觉感知

    WeVisOne-VL 是一种强大的视觉语言模型,通过结构化下一词预测统一了目标级和像素级感知能力。该模型支持多种视觉任务,包括目标检测、指代定位、计数、OCR、分割和matting,能够在用户指定的任何粒度上进行定位,从点到框再到mask和alpha mattes。

    推荐理由:通过结构化下一词预测统一目标级与像素级感知,WeVisOne-VL 在30多个基准测试中领先,为VLMs迈向可靠感知系统提供新路径。

  6. HuggingFace Daily Papers65

    AgentVQA: 智能体视觉理解统一评测基准

    研究团队发布AgentVQA评测基准,涵盖Web Agents、Robotics、Egocentric Videos、Games和Spatial Planning五个领域,从23个数据集中选取1000个真实场景样本。评测显示22个模型中最高准确率仅58.5%,主要问题在于视觉状态跟踪而非任务理解或逻辑推理。

    推荐理由:AgentVQA 填补了智能体视觉理解评测的空白,22个模型最高仅58.5%准确率揭示了当前视觉状态跟踪仍是最大瓶颈。

  7. 钛媒体85

    Gemini 4 Argon Token消耗量暴涨3倍,谷歌CEO首谈砍掉3.5 Pro内幕

    Google最新旗舰模型Gemini 4 Argon上线72小时处理近25万亿Token,消耗量是上一代Gemini 3.0同期的3倍。Google CEO桑达尔·皮查伊在访谈中首次公开解释了Gemini 3.5 Pro为何神秘消失,以及DeepMind核心管理层变动的幕后原因。

    推荐理由:Gemini 4 Argon上线72小时处理25万亿Token,谷歌CEO首次披露砍掉3.5 Pro内幕,模型迭代与算力博弈成焦点。

  8. 雷锋网78

    千问发布AI眼镜N1 Pro与耳夹式耳机

    千问发布AI眼镜N1 Pro和耳夹式耳机,眼镜重44g,售价2218元起,耳机售价1099元起。N1 Pro搭载全天候视觉感知系统和眼动追踪模组,支持健康监测;耳机支持89种语言实时翻译。两款产品旨在作为千问Personal Agent的物理入口,整合阿里生态数据与服务能力。

    推荐理由:44g眼镜实现主动服务,千问用硬件把Agent从对话窗推进到物理世界,接下来看用户是否愿意为这种'越界'买单。

  9. AWS Machine Learning Blog65

    Amazon Polly 升级语音生成引擎,新增14种语音和两种语言支持

    Amazon Polly 升级其语音生成引擎,提供更自然、准确的语音输出,新增14种语音和9种区域支持,包括首次提供印地语和芬兰语的生成语音。此次升级为即插即用式,现有应用程序无需更改代码即可使用。

    推荐理由:新增14种语音和两种语言,无需代码变更即可提升语音质量,企业级语音应用迎来更自然的交互体验。

  10. Microsoft Research68

    Microsoft Research 发布 Flint-interactive:创建交互式数据可视化的语言

    Microsoft Research 发布了 Flint-interactive,这是一种基于 Flint 的语言,用于创建交互式数据可视化。它允许用户和 AI 智能体通过高级语义事件和更新操作符定义交互行为,支持点击、过滤、缩放、高亮和跨图表交互等功能。

    推荐理由:Flint-interactive 将交互逻辑与视觉逻辑分离,让智能体能生成可点击、过滤、缩放的高质量可视化图表,降低了开发复杂度。

  11. Hugging Face Blog75

    Hugging Face 发布 OlmoEarth v1.3 卫星嵌入模型

    Hugging Face 发布 OlmoEarth v1.3 卫星嵌入模型,提供预计算的全球年度嵌入向量(10米分辨率,64和128维度),并推出基于浏览器的 OlmoEarth Embeddings Explorer 工具。该模型在27项评估中超越 AlphaEarth Foundations 和 Tessera v2,训练成本仅为前版本的53%,碳排放减少50%。

    推荐理由:预计算全球卫星嵌入向量让遥感分析从GPU依赖变成轻量级任务,效率提升的同时降低了技术门槛。

10月22日周四
  1. Google DeepMind65

    Google DeepMind 发布全球森林类型地图 ForTy 2020

    Google DeepMind 与合作伙伴发布 Forest Typology (ForTy) 2020 全球地图,以10米分辨率将地球森林分为六类,并跟踪2017-2025年变化。该地图准确率达90%,帮助区分自然林、人工林和农场,支持欧盟无毁林产品监管。

    推荐理由:10米级森林类型地图让自然林与人工林首次可区分,为监管提供精准基线,但精度与成本平衡仍是挑战。

  2. 量子位76

    蚂蚁数科发布决策模型 LingDT-Decision-1.0

    蚂蚁数科发布决策模型 LingDT-Decision-1.0,提供4B和27B两个版本,在23项开源评测基准中综合评分超过Microsoft-Decision-1、Jev 1.13等热门决策模型。该模型专为快速决策打造,在处理结构化决策任务时准确率更高、响应更快、Token成本更低,首创支持原生多选与按序决策能力。

    推荐理由:原生多选与按序决策让决策模型更贴近企业真实业务流程,接下来看它如何在实际场景中替代传统大语言模型。

  3. 量子位78

    星辰意图理解模型Xing4.0-29B-Intent发布

    中国电信人工智能科技有限公司星辰通用人工智能实验室发布并开源意图理解专用模型Xing4.0-29B-Intent,同步开放275万条训练语料、模型权重与推理镜像。模型将意图识别与参数抽取结合,支持结构化输出,已在电信万号客服、智能家居音箱等终端产品中应用。评测显示,该模型在意图分类、实体检测等任务上表现优于18款市面主流通用模型。

    推荐理由:专用小模型在意图理解上超越通用大模型,证明垂直场景的轻量化模型有独特价值。

  4. NVIDIA Blog75

    NVIDIA 推出 Earth-2 开源气象模型家族

    NVIDIA 发布 Earth-2 开源 AI 模型家族,包括 StormScope EU 等区域模型,支持全球天气预测、区域预报和环境研究。AXA、Vaisala Xweather、曼彻斯特大学等机构已将其应用于气旋风险评估、空气质量建模和太阳能预测等领域。

    推荐理由:开源气象模型家族让欧洲本地化预报成为可能,接下来看各行业如何结合专有数据创造新应用。