NVIDIA 发布 Cosmos3-H-Dreams 生成式外科手术模拟器
NVIDIA 发布 Cosmos3-H-Dreams,首个基于临床胆囊切除术数据训练的实时生成式外科手术模拟器,可在单块 NVIDIA RTX PRO 6000 GPU 上运行。该模型基于 Cosmos3 架构,通过学习临床手术视频和机器人运动学数据,实现了对人体内部复杂解剖结构和组织运动的实时交互模拟。
推荐理由:首个基于临床手术数据训练的实时生成式外科模拟器,将手术训练从桌面场景推进到复杂人体内部环境。
技术方向
具身智能全赛道追踪:VLA 与世界模型等具身大模型、机器人本体与灵巧手等硬件本体、开源软件与仿真生态、数据与基准。
196 条精选近 30 天 194 条共收录 606 条
NVIDIA 发布 Cosmos3-H-Dreams,首个基于临床胆囊切除术数据训练的实时生成式外科手术模拟器,可在单块 NVIDIA RTX PRO 6000 GPU 上运行。该模型基于 Cosmos3 架构,通过学习临床手术视频和机器人运动学数据,实现了对人体内部复杂解剖结构和组织运动的实时交互模拟。
推荐理由:首个基于临床手术数据训练的实时生成式外科模拟器,将手术训练从桌面场景推进到复杂人体内部环境。
Octave Reliance在AWS上构建了一个安全的多租户AI基础架构,解决了医疗设备、制药和食品制造等监管行业中的数据隔离与语义搜索需求。该架构包含数据准备、安全执行和内容保护三层,使用Cohere Embed v4模型和Amazon Bedrock AgentCore,实现了2亿文档的嵌入处理和投诉分类助手功能,将每个用例的部署时间减少了50%。
推荐理由:在医疗设备等强监管领域,Octave通过构建三层AI基础架构,实现了多租户数据隔离与高效语义搜索,为SaaS平台AI落地提供了可复用的安全模式。
Hugging Face 发布 TorchTPU,为 PyTorch 添加原生 TPU 后端,使开发者可以直接在 TPU 上运行 Transformers、Diffusers 和 Kernels 库。
推荐理由:TorchTPU 让 PyTorch 原生支持 TPU,开发者无需学习 JAX 或使用 torch_xla,只需一行代码即可将模型迁移到 TPU。
Eka Robotics完成1.5亿美元A轮融资,估值达14.5亿美元。该公司开发的物理AI模型结合力敏感夹爪和新深度学习模型,能在无需重新训练的情况下适应多种物体,抓取成功率超过95%,每小时可处理约1500件重达1公斤的物体,超过人类效率。该模型采用视觉-力-行动架构而非传统的视觉-语言-行动架构,通过物理模拟和强化学习实现。
推荐理由:1.45亿美元融资让Eka的物理AI模型引发专家惊叹,其基于力感知的抓取架构可能改变机器人操作领域。
Dyna Robotics分享了从Dyna-1到Dyna-2的两年历程,包括从VLA模型转向世界动作模型,使用100万小时第一人称人类视频预训练,发现机器人数据规模定律。公司强调真实部署是衡量机器人的唯一评估,模型、数据和硬件必须共同进步才能实现商业化落地。
推荐理由:从演示到真实部署的300天,机器人Scaling Law的探索揭示了数据规模与系统落地的关键张力。
特斯拉发布新款Roadster,具备飞行能力,分为性能版、推力版和火箭版三层配置。该车采用SpaceX技术支持的高压空气推进系统,零百加速小于1.6秒,火箭版甚至支持悬停与飞行。特斯拉已开放预订,性能版33.2万元起,预计2028年交付。
推荐理由:把火箭技术装进汽车,特斯拉用会飞的Roadster开辟了性能竞争新维度,但量产前仍需解决飞行安全与法规问题。
本文提出Vision-Language-Delta-Action(VLDA)范式,将完整未来预测重构为紧凑可操作的转换建模。其核心是紧凑的Delta变量,作为视觉语言理解与动作生成的接口。实验表明VLDA提高了长时一致性、鲁棒性和泛化能力。
推荐理由:通过紧凑的Delta变量作为视觉语言理解与动作生成的接口,VLDA模型降低了机器人学习负担,提升了长时一致性和鲁棒性。
研究提出集体经验学习(CEL)范式,通过失败引导的经验检索微调(FERT)和容错异步训练系统(FATS),使部署中的机器人共享执行经验改进共同策略。在五个真实操作任务中,策略成功率高达93.3-99.2%,96台机器人在手机包装任务中成功率从79.2%提升至98.3%。
推荐理由:通过机器人共享执行经验提升策略可靠性,无需额外专家纠正,为大规模机器人学习提供新范式。
研究人员提出Stateful Harness框架,将世界状态演化与视频渲染分离,构建了WorldState-Bench基准测试。在50组反事实双胞胎对测试中,完整框架使模型在隐藏状态下遵循规则的能力达到92%,远高于单独视频模型的32%。
推荐理由:将世界状态演化与视频渲染分离,使模型在隐藏状态下遵循规则的能力从32%提升至92%,为具身智能交互提供了新思路。
物流分拣成为机器人量产落地突破口,非人形设计比人形更适配场景,具身智能从Demo转向订单驱动。星动纪元、自变量、极佳视界等公司推出半人形或机械臂形态的机器人,在物流分拣场景实现稳定作业,日均有效作业时间超10小时。
推荐理由:物流分拣成为机器人量产落地突破口,非人形设计比人形更适配场景,具身智能从Demo转向订单驱动。
研究人员提出RoboValue基准,用于统一评估机器人价值模型,涵盖任务状态理解、时间进度监控、故障恢复推理和价值一致性四个维度。该基准包含15个仿真和20个真实世界操作任务,评估结果显示现有模型在细粒度指令锚定、历史依赖进度跟踪和恢复评估方面存在错误。
推荐理由:RoboValue基准揭示了现有机器人价值模型在细粒度评估中的不足,为价值监督提供了具体改进方向。
研究比较了两种低成本LEAP手型在物体旋转任务中的表现,发现触觉信息可显著提升旋转效率并降低指尖负载,对称手型在旋转次数和速率上表现更优。
推荐理由:对比仿生与对称手型在物体旋转中的表现,触觉信息提升效率的同时降低负载,为机器人手部设计提供新思路。
Tianwei Luo等人发布了HandsOn,一个跨形态灵巧操作的仿真平台和基准,支持五种机械臂、六种灵巧手和约200种刚体、关节和可变形物体。该基准包含18,000个人类演示和66个人类验证任务,分为Core-50和Transfer-16两部分。
推荐理由:首个覆盖五臂六手200物体的灵巧操作基准,暴露了当前AI在物理交互中的真实能力边界。
研究表明 GPT-6 Astra 能够直接解释基于视觉的触觉图像并利用其接触线索进行操作,在19个模拟任务中达到93.8%的平均成功率,超过专业基线22.9个百分点。视觉触觉输入下表现优异,纯视觉性能也领先于基线,轨迹分析显示其具有主动探测、谨慎抓取等能力。
推荐理由:GPT-6 Astra 直接解读视觉触觉图像并用于操作,挑战了专业策略在接触密集任务中的垄断地位。
研究人员提出PhysWord,一种基于Physical Words的推理-行动基础模型,使用原子动作动词作为物理动态的共享语义锚点。该模型在visuotactile UniVTAC上达到90.3%的成功率,在vision-based LIBERO-Long上达到99.6%的成功率,并在使用双夹爪和灵巧手的真实世界任务中优于竞争方法。
推荐理由:用原子动作动词作为物理动态的语义锚点,PhysWord在机器人操作任务中实现了90.3%和99.6%的成功率。
研究团队提出Ropedia W0,首个涵盖人类和多样化机器人的运动-操作世界基础模型。该模型基于Xp-Data数据集(包含1万小时人类第一视角数据和3千小时机器人数据)和统一的多模态注释,通过统一运动学表示编码运动和操作。在五个跨具身基准测试上达到最先进性能,并支持实时长时间运行,可用于VR交互、策略评估和基于模型的规划。
推荐理由:通过统一运动学和投影骨架表示,首次实现跨人类和机器人的世界模型,为具身智能决策提供新基础。
研究人员提出ScaleNav框架,通过三阶段训练方法利用网络第一人称视频学习目标导向的视觉动态,支持机器人动作生成。该框架在Short-Horizon OVON单视图适应基准上达到86.5%成功率,在HabitatGS-LN基准上达到94.9%成功率,优于评估的基线模型,并在真实四足机器人上部署验证了泛化能力。
推荐理由:利用网络第一人称视频训练机器人导航,解决了真实数据收集成本高和模拟到现实差距大的问题。
首尔国立大学研究团队开发了Dynin-Robotics,一种能够理解人类指令、预测行动后场景并执行任务的机器人基础模型。该模型在四项真实世界机器人操作任务中平均成功率达78.4%,超过NVIDIA和Physical Intelligence的对比模型。研究论文已被NeurIPS 2026会议接受,将于12月发表。
推荐理由:通过预测场景来指导行动,Dynin-Robotics 在四项机器人操作任务中达到78.4%成功率,超越NVIDIA和Physical Intelligence模型。
德国总理与NVIDIA CEO签署联合意向声明,旨在将德国工程制造专长与AI技术结合,建立欧洲最先进的工业AI生态系统。NVIDIA宣布在德国投资四家初创公司,并与西门子合作推进AI驱动的自主制造工厂。
推荐理由:德政府与NVIDIA签署工业AI合作备忘录,将传统制造业优势与AI技术结合,重点扶持中小企业数据应用。
研究人员开发了解释性管道研究视觉-语言-动作(VLA)模型的计算机制,发现模型编码的任务指令与绝对工作空间坐标绑定,导致对物体位置微小变化敏感。研究团队发布了Action Atlas平台,包含520+训练好的SAEs、79个识别概念和评分的UR10e回放数据。
推荐理由:通过激活注入揭示视觉-语言-动作模型对绝对坐标的依赖,解释了为何物体位置微小变化就导致任务失败。