NVIDIA 发布 Cosmos3-H-Dreams 生成式外科手术模拟器
NVIDIA 发布 Cosmos3-H-Dreams,首个基于临床胆囊切除术数据训练的实时生成式外科手术模拟器,可在单块 NVIDIA RTX PRO 6000 GPU 上运行。该模型基于 Cosmos3 架构,通过学习临床手术视频和机器人运动学数据,实现了对人体内部复杂解剖结构和组织运动的实时交互模拟。
推荐理由:首个基于临床手术数据训练的实时生成式外科模拟器,将手术训练从桌面场景推进到复杂人体内部环境。
技术方向
文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。
123 条精选近 30 天 111 条共收录 712 条
NVIDIA 发布 Cosmos3-H-Dreams,首个基于临床胆囊切除术数据训练的实时生成式外科手术模拟器,可在单块 NVIDIA RTX PRO 6000 GPU 上运行。该模型基于 Cosmos3 架构,通过学习临床手术视频和机器人运动学数据,实现了对人体内部复杂解剖结构和组织运动的实时交互模拟。
推荐理由:首个基于临床手术数据训练的实时生成式外科模拟器,将手术训练从桌面场景推进到复杂人体内部环境。
Octave Reliance在AWS上构建了一个安全的多租户AI基础架构,解决了医疗设备、制药和食品制造等监管行业中的数据隔离与语义搜索需求。该架构包含数据准备、安全执行和内容保护三层,使用Cohere Embed v4模型和Amazon Bedrock AgentCore,实现了2亿文档的嵌入处理和投诉分类助手功能,将每个用例的部署时间减少了50%。
推荐理由:在医疗设备等强监管领域,Octave通过构建三层AI基础架构,实现了多租户数据隔离与高效语义搜索,为SaaS平台AI落地提供了可复用的安全模式。
Hugging Face发布FairStress基准,用于评估大语言模型在人口公平性方面的表现。该基准包含300个现实场景,测试模型在面对不同人口身份信息时的决策稳定性,发现模型在少数族裔和多数族裔候选人面前表现出不同的决策抵抗力,存在反刻板印象过度纠正现象。
推荐理由:LLM在决策中存在反刻板印象过度纠正现象,同一论据对少数族裔和多数族裔候选人的影响不对称,现有去偏方法效果有限。
Mistral 发布 Voxtral 3,包含语音识别、语音合成和语音代理 SDK,支持50多种语言的实时多步对话。Voxtral Small Transcribe 3 在多语言转录方面达到最先进水平,Voxtral Mini TTS 3 支持35+语言和50+方言,语音代理 SDK 将听、思、说整合为单一实时流管道。
推荐理由:将语音识别、推理和语音合成整合为实时流管道,解决了端到端语音代理的四大挑战,同时支持50多种语言和专业语音克隆。
Meshy发布局部编辑功能Meshy Edit,基于全新自研AI模型,用户圈选3D模型区域后用一句话描述改动,约一分钟生成新模型,未选中区域保持原样。该功能已向全部注册用户开放,每次编辑消耗20积分。
推荐理由:圈选区域加一句话描述就能修改3D模型,把专业建模门槛降到分钟级,但精度与成本控制仍是关键。
研究团队提出Halcyon模型,一种完全从头开始训练的早期融合多模态自回归模型,在GPIC数据集上预训练。Halcyon-0.52B和Halcyon-1.6B模型在文本到图像生成任务上分别以更少的预训练计算量超越了现有模型,实验表明文本预训练对T2I生成没有明显帮助。代码和模型已公开。
推荐理由:Halcyon模型证明无需大规模语言预训练也能实现高质量文本到图像生成,挑战了当前主流技术范式。
研究者提出OpenVLHarness框架,结合能力层和持久多模态记忆,在22个基准测试上提升9.7-12.6分,相比无工具基线显著提高性能,同时降低模型token成本最多37%。
推荐理由:通过工具使用和持久多模态记忆提升视觉推理,9.7-12.6分的提升证明外部知识整合的价值。
研究表明 GPT-6 Astra 能够直接解释基于视觉的触觉图像并利用其接触线索进行操作,在19个模拟任务中达到93.8%的平均成功率,超过专业基线22.9个百分点。视觉触觉输入下表现优异,纯视觉性能也领先于基线,轨迹分析显示其具有主动探测、谨慎抓取等能力。
推荐理由:GPT-6 Astra 直接解读视觉触觉图像并用于操作,挑战了专业策略在接触密集任务中的垄断地位。
TwelveLabs Pegasus 1.5 视频语言模型现已登陆 Amazon Bedrock,可将长视频转化为带时间戳的结构化元数据。新版本支持基于时间的元数据生成、多模态提示(结合文本和参考图像)以及即时处理,无需预索引即可分析长达两小时的视频。用户可直接从 Amazon S3 URI 或 base64 字符串发送视频,数据保持在 AWS 数据边界内。
推荐理由:视频语言模型Pegasus 1.5在Amazon Bedrock上线,将长视频转化为结构化元数据,无需预索引即可处理两小时视频。
短短一个月内,30B级端侧模型接连亮相,高通、vivo、面壁智能等厂商成功将大模型部署在手机平台上。MoE技术让模型总参数与单次推理计算量解耦,使手机有机会运行更大规模模型,但模型容量扩大与手机内存、功耗增长不同步,带来技术押注的不确定性。
推荐理由:30B级MoE模型挤进手机,让规模定律首次在端侧落地,但硬件投入与实际收益的平衡仍是未知数。
研究人员开发了ACE-Brain-0.6模型,通过结合机器人操作记录和多样化视觉数据的数据流水线,在约150万样本上微调Qwen3.5-9B。该模型在七个公共空间定位基准中的四个上超越GPT-6 Astra,平均得分为75.41,比Astra的73.68更高。研究显示,通过多样化来源的可验证定位监督可增强开放9B模型的空间感知能力。
推荐理由:通过150万样本训练的9B模型在空间感知基准上超越GPT-6 Astra,验证了多样化数据对具身智能的强化作用。
研究团队提出 FocusGUI,一种轻量级适配器,能动态优先处理多模态输入,解决GUI智能体中的连续注意力分散问题。在四种多模态骨干模型上,平均将类型匹配度提高33.2,精确匹配度提高3.0倍,比现有最佳增强方法提高30.1。
推荐理由:FocusGUI 通过动态优先处理多模态输入,解决了GUI智能体中的连续注意力分散问题,显著提升了任务匹配度。
研究系统评估了19个来自四个不同模型家族的视觉语言模型,发现模型规模增大并不总是带来性能提升,在多图像空间推理、视觉感知和大学级STEM知识等领域存在逆规模效应,准确度差距最高超过20个百分点。
推荐理由:研究揭示了视觉语言模型在特定任务上存在逆规模效应,挑战了模型越大越好的普遍假设。
中国AI创业公司StartLux的StartLux-Decision-v1.1-27B-Instant模型以69.1分登顶Hugging Face Decision Index 0.3.2榜单,领先第二名近3分。该模型提供Instant与AutoThink两种模式,原创提出RLCD²强化学习训练方法,并推出DecisionPivot评测基准,累计下载量近12万。
推荐理由:StartLux-Decision模型在Hugging Face决策模型榜单登顶,展示了中国在决策模型领域的领先地位。
特斯拉车辆工程副总裁Lars Moravy详解新款Roadster,采用专属4680电池与双电机后驱布局,目标车重低于1700公斤。顶配Rocket版0-60mph加速仅需0.55秒,配备SpaceX冷气推进器,可实现有限离地飞行。
推荐理由:放弃四驱转后驱、减重300公斤,特斯拉用SpaceX技术将跑车加速推至0.55秒,量产车离地飞行不再是概念。
Jiaru Bai 提出自我构建实验室(SBL)系统,能根据高层科学目标自主设计、配置和运行实验室设置。该系统从现有条件出发,构建实验室布局、数字孪生、机器人技能和实验工作流,已在量子点合成实验中验证端到端能力,使科学自动化更易访问、灵活和可扩展。
推荐理由:从空白房间到完整实验室,SBL 系统自主设计、配置并运行实验,将人类角色从手动编程转向目标设定,大幅提升科学自动化灵活性。
优必选发布Thinker-WM多模态统一表征模型,在WorldOlympiad、EWMBench和WorldArena1.0 Track-1三大具身世界模型基准评测中全部获得第一名。
推荐理由:优必选Thinker-WM通过多模态统一表征在三大基准评测中全部登顶,为具身智能提供新一代基础世界模型底座。
字节跳动正在基于视频生成模型Seedance开发实时空间视频生成模型,由张一鸣亲自督导,计划于10月推出。该模型采用端到端延迟约50毫秒的技术路线,旨在实现实时互动,应用场景包括直播、互动短剧、游戏和机器人训练。
推荐理由:文章揭示了字节跳动基于Seedance开发世界模型的战略布局和差异化路线,展示了从视频生成到实时互动的技术演进。
NVIDIA与IIT Madras和AI4Bharat合作发布Nemotron-pretraining-Indic-v1数据集,包含2.8万亿token的印度语训练数据,涵盖22种印度宪法语言,并开放了GPU加速的数据生成流程。该数据集结合了原生脚本和罗马化文本,包含数学、代码和问答内容,旨在解决印度语言技术因数据不足而落后于英语的问题。
推荐理由:原文提供了2.8万亿token的印度语训练数据和开放生成流程,为印度语模型训练提供了新资源。
蚂蚁百灵开源 Ling-3.1-flash 模型,总参数约 560B,激活参数约 25B,最高支持 1M 上下文。模型在本地部署中通过量化技术降低权重占用,提供长上下文并行推理方案,并在测试中达到约 1.36 QPS 的吞吐量。
推荐理由:原文提供了开源模型的技术参数、性能数据和部署方案,读者可据此评估其适用场景。