AWS SageMaker AI多轮强化学习实践指南
AWS发布多轮强化学习(MTRL)教程,指导用户如何在SageMaker AI上训练AgentCore智能体,使其能够处理需要序列决策的任务。教程以Wordle游戏为例,展示了从环境部署、数据准备到模型训练和评估的完整流程,使用GPT-OSS-20B模型将解决率从61%提升到84%,训练成本约339美元。
推荐理由:多轮强化学习让模型从单次回答转向序列决策,AWS教程展示了如何用SageMaker训练AgentCore智能体。
AWS发布多轮强化学习(MTRL)教程,指导用户如何在SageMaker AI上训练AgentCore智能体,使其能够处理需要序列决策的任务。教程以Wordle游戏为例,展示了从环境部署、数据准备到模型训练和评估的完整流程,使用GPT-OSS-20B模型将解决率从61%提升到84%,训练成本约339美元。
推荐理由:多轮强化学习让模型从单次回答转向序列决策,AWS教程展示了如何用SageMaker训练AgentCore智能体。
拜耳作物科学推出智能体决策引擎(ADE),在 Amazon Bedrock AgentCore 上运行 22 个专业智能体,80% 用户问题无需工程师介入即可解决。ADE 通过 LangGraph 协调工作流,结合 AWS 统一运营支持,将故障诊断时间从 1 小时缩短至 10 分钟。
Amazon Polly 升级其语音生成引擎,提供更自然、准确的语音输出,新增14种语音和9种区域支持,包括首次提供印地语和芬兰语的生成语音。此次升级为即插即用式,现有应用程序无需更改代码即可使用。
推荐理由:新增14种语音和两种语言,无需代码变更即可提升语音质量,企业级语音应用迎来更自然的交互体验。
Microsoft Research 发布了 Flint-interactive,这是一种基于 Flint 的语言,用于创建交互式数据可视化。它允许用户和 AI 智能体通过高级语义事件和更新操作符定义交互行为,支持点击、过滤、缩放、高亮和跨图表交互等功能。
推荐理由:Flint-interactive 将交互逻辑与视觉逻辑分离,让智能体能生成可点击、过滤、缩放的高质量可视化图表,降低了开发复杂度。
Hugging Face 发布 OlmoEarth v1.3 卫星嵌入模型,提供预计算的全球年度嵌入向量(10米分辨率,64和128维度),并推出基于浏览器的 OlmoEarth Embeddings Explorer 工具。该模型在27项评估中超越 AlphaEarth Foundations 和 Tessera v2,训练成本仅为前版本的53%,碳排放减少50%。
推荐理由:预计算全球卫星嵌入向量让遥感分析从GPU依赖变成轻量级任务,效率提升的同时降低了技术门槛。
Google DeepMind 与合作伙伴发布 Forest Typology (ForTy) 2020 全球地图,以10米分辨率将地球森林分为六类,并跟踪2017-2025年变化。该地图准确率达90%,帮助区分自然林、人工林和农场,支持欧盟无毁林产品监管。
推荐理由:10米级森林类型地图让自然林与人工林首次可区分,为监管提供精准基线,但精度与成本平衡仍是挑战。
NVIDIA 发布 Earth-2 开源 AI 模型家族,包括 StormScope EU 等区域模型,支持全球天气预测、区域预报和环境研究。AXA、Vaisala Xweather、曼彻斯特大学等机构已将其应用于气旋风险评估、空气质量建模和太阳能预测等领域。
推荐理由:开源气象模型家族让欧洲本地化预报成为可能,接下来看各行业如何结合专有数据创造新应用。
NVIDIA 加速欧洲零售商使用开源模型和物理智能,Shopify 通过后训练模型将推理成本降低90%,响应速度提升7倍;Zooplus 实现了86%的搜索准确率;L'Oréal 将成分筛选时间从数月缩短至数小时;Mirakl 已处理超过7000万种产品。
推荐理由:欧洲零售商用开源模型降低90%推理成本,NVIDIA正将AI从数字发现延伸至物理操作,虚实融合的零售新范式正在形成。
AWS Solutions Architecture团队发布Deep Insight多智能体系统,解决了从原型到生产的五大核心挑战:执行流控制、模型选择、可靠运行、代码执行安全性和系统监控。
推荐理由:从原型到生产,多智能体系统面临五大挑战,AWS团队通过Deep Insight架构展示了如何解决执行流控制、模型选择、安全部署等关键问题。
AWS Trainium 通过 torchtitan 支持三种方式训练 Qwen3,包括 Transformers v5 后端、torchtitan 原生实现及 NKI MoE 内核优化。实验在 trn2.48xlarge 实例上完成,支持预训练和微调,可加载 Hugging Face 检查点并导出 safetensors 格式。
Google Research在JAMA Network Open发表研究,展示AI系统可通过'盲扫'超声技术评估孕龄,准确率达临床标准(MAE 4.18天),在芝加哥和内罗毕不同医疗环境中均表现稳定。该技术使未经专业培训的医护人员能执行可靠超声检查,有望扩大资源匮乏地区的产前筛查覆盖范围。
推荐理由:AI辅助超声在资源匮乏地区实现与专家相当的孕龄评估,验证了技术泛化能力与普惠医疗潜力。
IBM 发布 Granite Speech 5.0 系列模型,包括新模型 granite-speech-5.0-2b 和更新版本 granite-speech-5.0-470m-turboctc、granite-speech-4.1-2b-plus。
推荐理由:IBM 推出 Granite Speech 5.0 系列模型,覆盖从高精度转录到边缘设备实时处理的完整语音工作流,开源策略让企业级语音技术更易获取。
OpenAI 介绍基于大语言模型的 ChatGPT 广告栈,通过理解对话意图、分离广告与答案、规模化投放相关广告提升用户体验。该广告栈支持大规模广告投放并保持用户信任。
Google Cloud 与 NVIDIA 宣布 NVIDIA Vera Rubin 基础设施正式商用,A5X 实例将集成 Vera Rubin NVL72 GPU、ConnectX-9 SuperNICs 和先进液冷技术,支持大规模智能体推理和强化学习。
NVIDIA 发布 Kumo Forecast(前称 NV-Tesseract Forecasting)多变量时序预测模型,结合预训练 Transformer 与领域感知表示检索(DARR),提供直接预测与历史模式检索两种路径,并包含可解释性框架。模型基于 MOMENT-1-large,约 3.4 亿参数,支持 256/512/1024/2048 观测长度输入,采用 Apache 2.0 许可证。
推荐理由:将预训练模型与历史模式检索结合,为时序预测提供可解释性,这是工业预测的新思路。
Mistral与NVIDIA合作,将Mistral Large 4等AI模型与NVIDIA加速计算和物理建模工具结合,开发工程领域AI工作流。双方将创建公共基准测试和开放数据集,用于评估物理模型和计算机辅助工程中的智能体AI,并整合NVIDIA Omniverse进行3D仿真和资产创建。
推荐理由:Mistral与NVIDIA合作将AI模型与加速计算结合,推动工程领域仿真与设计闭环,接下来看标准制定与行业落地。
NVIDIA 发布了涵盖语言、机器人、生物和量子计算的开源模型家族,包括 Nemotron 3.5 Super VL 和 Bolt、Kumo 结构化数据模型、Cosmos 3.5 世界模型、Alpamayo 2 Edge 自动驾驶模型、BioNeMo 生物模型和 Ising 量子计算模型。
推荐理由:NVIDIA 一次性发布覆盖语言、机器人、生物和量子计算的全栈开源模型,企业可基于本地数据定制并自主部署,欧洲合作伙伴阵容强大。
AWS团队展示了如何在Amazon SageMaker HyperPod上微调GPT-OSS-20B模型,使其能够按照指令在法语、德语、西班牙语和意大利语中进行推理。研究显示,监督微调(SFT)将推理语言正确率从22%提升到100%,而强化学习与组相对策略优化(GRPO)进一步将答案语言正确率从62%提升到70%。
NVIDIA 发布 Cosmos3-H-Dreams,首个基于临床胆囊切除术数据训练的实时生成式外科手术模拟器,可在单块 NVIDIA RTX PRO 6000 GPU 上运行。该模型基于 Cosmos3 架构,通过学习临床手术视频和机器人运动学数据,实现了对人体内部复杂解剖结构和组织运动的实时交互模拟。
推荐理由:首个基于临床手术数据训练的实时生成式外科模拟器,将手术训练从桌面场景推进到复杂人体内部环境。
AWS Bedrock 现在支持从加拿大区域通过跨区域推理访问 OpenAI GPT-5.6、GPT-6 和 GPT-6.1 模型。这些模型支持文本和图像输入、100万 token 上下文窗口、推理模式和工具调用,可通过 OpenAI API 或 Bedrock Converse API 调用。推理处理在北美进行,提供容量池以应对需求高峰。
Octave Reliance在AWS上构建了一个安全的多租户AI基础架构,解决了医疗设备、制药和食品制造等监管行业中的数据隔离与语义搜索需求。该架构包含数据准备、安全执行和内容保护三层,使用Cohere Embed v4模型和Amazon Bedrock AgentCore,实现了2亿文档的嵌入处理和投诉分类助手功能,将每个用例的部署时间减少了50%。
推荐理由:在医疗设备等强监管领域,Octave通过构建三层AI基础架构,实现了多租户数据隔离与高效语义搜索,为SaaS平台AI落地提供了可复用的安全模式。
Hugging Face发布FairStress基准,用于评估大语言模型在人口公平性方面的表现。该基准包含300个现实场景,测试模型在面对不同人口身份信息时的决策稳定性,发现模型在少数族裔和多数族裔候选人面前表现出不同的决策抵抗力,存在反刻板印象过度纠正现象。
推荐理由:LLM在决策中存在反刻板印象过度纠正现象,同一论据对少数族裔和多数族裔候选人的影响不对称,现有去偏方法效果有限。
Mistral 发布 Voxtral 3,包含语音识别、语音合成和语音代理 SDK,支持50多种语言的实时多步对话。Voxtral Small Transcribe 3 在多语言转录方面达到最先进水平,Voxtral Mini TTS 3 支持35+语言和50+方言,语音代理 SDK 将听、思、说整合为单一实时流管道。
推荐理由:将语音识别、推理和语音合成整合为实时流管道,解决了端到端语音代理的四大挑战,同时支持50多种语言和专业语音克隆。
Amazon SageMaker JumpStart 在 2026 年 1-9 月新增 100 多个模型,覆盖 30 家提供商,包括阿里巴巴 Qwen 3.8-27B、NVIDIA Cosmos3 和 Mistral Ministral-3 等。平台支持一键部署、模型微调及多模态处理,涵盖文本、视觉、语音生成能力。
TwelveLabs Pegasus 1.5 视频语言模型现已登陆 Amazon Bedrock,可将长视频转化为带时间戳的结构化元数据。新版本支持基于时间的元数据生成、多模态提示(结合文本和参考图像)以及即时处理,无需预索引即可分析长达两小时的视频。用户可直接从 Amazon S3 URI 或 base64 字符串发送视频,数据保持在 AWS 数据边界内。
推荐理由:视频语言模型Pegasus 1.5在Amazon Bedrock上线,将长视频转化为结构化元数据,无需预索引即可处理两小时视频。
Reflection实验室在Hugging Face发布501B参数开源模型Beam,采用MoE架构,每激活23B参数,支持1M上下文窗口,专注编码和智能体应用,提供多种部署方案和微调教程。
NVIDIA与IIT Madras和AI4Bharat合作发布Nemotron-pretraining-Indic-v1数据集,包含2.8万亿token的印度语训练数据,涵盖22种印度宪法语言,并开放了GPU加速的数据生成流程。该数据集结合了原生脚本和罗马化文本,包含数学、代码和问答内容,旨在解决印度语言技术因数据不足而落后于英语的问题。
推荐理由:原文提供了2.8万亿token的印度语训练数据和开放生成流程,为印度语模型训练提供了新资源。
IBM 发布 Granite Switch 4.1 模型,整合了聊天、决策和语音识别功能,支持从单一端点切换任务。该模型包含新的决策 aLoRA、Guardian aLoRA 和 Granite-Speech-5.0-Turbo-CTC,在安全决策任务上优于多个竞争模型,并可在单个 GPU 上实时运行多种任务。
推荐理由:原文提供了多模态能力整合和性能对比,读者可据此评估其在实际应用中的效率优势。
Meta的Muse Spark Open编码优化模型现已可在Amazon SageMaker JumpStart中部署,支持1M token上下文窗口,提供BF16和NVFP4两种变体。用户可通过SageMaker Studio或Python SDK在AWS账户中部署该模型,用于代码助手、长时间运行的编码代理和多模态工程工作流。
推荐理由:原文提供了在AWS SageMaker上部署Meta的Muse Spark Open模型的具体步骤和能力说明。
Meta发布开源多模态大模型Muse Spark Open,参数规模约816B,每激活约42B参数,上下文窗口达100万token。该模型支持文本、图像、音频和视频输入,专为智能体编程设计,可读取代码库、编写和调试代码,并调用工具。模型采用混合专家架构,提供BF16和NVFP4两种检查点格式,并支持多种部署方式。
Mistral AI 发布了 Timestral,首个时间序列基础模型家族,最大仅 209M 参数,在 GIFT-Eval、TIME 和 fev-bench 三大基准上排名第一。该模型支持多元预测和协变量,提供四种尺寸选择,可在 CPU 上高效运行,并支持零样本预测。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
NVIDIA 发布了 1200 亿参数的开放模型 Nemotron 3.5 Super VL,以及两个边缘模型 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB,覆盖从企业服务器到边缘设备的全范围智能体部署。Super VL 在多模态智能体任务上达到前沿准确度,同时速度比同类模型快 5 倍;Bolt 系列则针对本地硬件优化,平衡智能与速度。
推荐理由:NVIDIA 推出覆盖从数据中心到边缘设备的全系列智能体模型,开放权重让企业能自主定制部署。
Apertus 1.5 扩展了 8B 和 70B 模型,新增图像/音频理解、思考模式、4倍更长的上下文窗口,以及改进的指令遵循和工具使用能力。模型采用 Apache 2.0 许可证开源,通过早期融合方式处理多模态数据,并在多个基准测试中表现出色。
Google Research在Research@活动中展示了10项AI研究进展,包括Google Earth AI行星智能系统、多智能体编排工具、Deep Review文档审查系统、下一代边缘AI芯片等,这些技术正在改变医疗、科学、商业和教育等多个领域。
推荐理由:原文展示了10项AI研究进展,覆盖地球智能、医疗健康、科学工具等多个领域,体现了AI如何增强人类创造力。
Google Research 发布 Deep Review,一个用于复杂技术文档的 AI 智能体系统,提供严格反馈和技术验证。该系统最初用于计算机科学学术论文分析,现已扩展到法律和金融等多个领域。
Google 发布地理空间推理智能体,连接地球 AI 基础模型和行星规模数据,支持多步推理和自主预测模型训练。该智能体已在疾病爆发调查、灾害准备和清洁能源筛选等领域与 WHO、GiveDirectly 等组织合作测试,将原本需要数周的分析工作缩短至几分钟。
推荐理由:原文提供了地理空间智能体的技术细节和实际应用案例,展示了其在解决全球性挑战中的价值。
Hugging Face发布HiRO-ACEv2系统,能以X-SHiELD约1/300的成本生成全球3公里气候数据,准确模拟极端降雨、风压事件,并已生成完整一年全球数据。
推荐理由:HiRO-ACEv2以低成本高精度模拟极端天气,为气候研究提供新工具。
Google DeepMind发布Gemini 4 Argon模型,该模型在网络安全、生物科学等领域具有前沿能力,并采用了多层安全防护机制防止滥用和误用。模型已通过Fairwind Program与网络安全团队合作,发现了医院软件中的关键漏洞,并开始广泛部署。