AWS SageMaker AI多轮强化学习实践指南
AWS发布多轮强化学习(MTRL)教程,指导用户如何在SageMaker AI上训练AgentCore智能体,使其能够处理需要序列决策的任务。教程以Wordle游戏为例,展示了从环境部署、数据准备到模型训练和评估的完整流程,使用GPT-OSS-20B模型将解决率从61%提升到84%,训练成本约339美元。
推荐理由:多轮强化学习让模型从单次回答转向序列决策,AWS教程展示了如何用SageMaker训练AgentCore智能体。
自动盯住上百个信源,用模型摘要、打分、精选,把同一件事的多篇报道归到一起,每天早上出一份日报。聚焦机器人、AI 与财经投资。
AWS发布多轮强化学习(MTRL)教程,指导用户如何在SageMaker AI上训练AgentCore智能体,使其能够处理需要序列决策的任务。教程以Wordle游戏为例,展示了从环境部署、数据准备到模型训练和评估的完整流程,使用GPT-OSS-20B模型将解决率从61%提升到84%,训练成本约339美元。
推荐理由:多轮强化学习让模型从单次回答转向序列决策,AWS教程展示了如何用SageMaker训练AgentCore智能体。
AWS 宣布 SageMaker AI 推出训练会话功能,企业无需管理 GPU 即可自定义模型。该功能支持多种后训练技术如 SFT、DPO、RLVR、RLAIF 和多轮强化学习,开发者可编写自己的训练循环,同时 SageMaker AI 处理 GPU 分配、分布式执行和故障恢复。
推荐理由:SageMaker AI 推出训练会话功能,让企业无需管理 GPU 即可自定义模型,重点在于开发者能完全控制训练逻辑。
Hugging Face 发布 OlmoEarth v1.3 卫星嵌入模型,提供预计算的全球年度嵌入向量(10米分辨率,64和128维度),并推出基于浏览器的 OlmoEarth Embeddings Explorer 工具。该模型在27项评估中超越 AlphaEarth Foundations 和 Tessera v2,训练成本仅为前版本的53%,碳排放减少50%。
推荐理由:预计算全球卫星嵌入向量让遥感分析从GPU依赖变成轻量级任务,效率提升的同时降低了技术门槛。
Google DeepMind 与合作伙伴发布 Forest Typology (ForTy) 2020 全球地图,以10米分辨率将地球森林分为六类,并跟踪2017-2025年变化。该地图准确率达90%,帮助区分自然林、人工林和农场,支持欧盟无毁林产品监管。
推荐理由:10米级森林类型地图让自然林与人工林首次可区分,为监管提供精准基线,但精度与成本平衡仍是挑战。
IBM Research 发布 Granite Timeseries Ensemble,结合四种互补架构的时间序列模型,提供概率集合和四分位范围集合两种预测方法,无需重新训练即可获得中位数和分位数预测结果。该模型在 GIFT-Eval 数据集上表现优于单个成员模型,并支持扩展添加其他兼容预测器。
推荐理由:IBM 发布 Granite Timeseries Ensemble,将四种互补架构合并为一个预测接口,减少模型选择的不确定性。
NVIDIA 发布 Earth-2 开源 AI 模型家族,包括 StormScope EU 等区域模型,支持全球天气预测、区域预报和环境研究。AXA、Vaisala Xweather、曼彻斯特大学等机构已将其应用于气旋风险评估、空气质量建模和太阳能预测等领域。
推荐理由:开源气象模型家族让欧洲本地化预报成为可能,接下来看各行业如何结合专有数据创造新应用。
NVIDIA扩展了Cosmos平台,新增训练工具、仿真检查点和Cosmos Data Factory蓝图,帮助开发者构建物理AI系统的世界模型。平台提供多模态数据处理、模型微调和优化工具,并已应用于自动驾驶、工业检测等领域。
推荐理由:从数据工厂到模型训练再到部署,NVIDIA Cosmos构建了完整的世界模型开发流水线,工业应用已开始验证其价值。
NVIDIA发布Kumo Relational,这是一种预训练的关系基础模型,可直接在企业数据库上进行预测,无需任务特定训练、特征工程或表格扁平化。该模型在41项任务中超越监督学习模型,在SAP SALT企业基准测试上比AutoGluon集成模型高出8%的平均倒数排名(MRR),可扩展至500B+行数据库的规模。
推荐理由:无需训练即可直接在企业数据库上进行预测,Kumo Relational在41项任务中超越监督学习模型,标志着结构化数据基础模型的新阶段。
Hugging Face 博客介绍了 VocabX 方法,通过按成本而非频率重构词汇表,在保持基础模型不变的情况下,将葡萄牙语作文评分系统的推理成本降低77%,同时提高了评分质量。该方法在多个领域和模型家族中都优于现有参考方法。
推荐理由:通过按成本而非频率重构词汇表,VocabX 在保持模型不变的情况下降低推理成本77%,为小模型领域专业化提供新思路。
IBM 发布 Granite Speech 5.0 系列模型,包括新模型 granite-speech-5.0-2b 和更新版本 granite-speech-5.0-470m-turboctc、granite-speech-4.1-2b-plus。
推荐理由:IBM 推出 Granite Speech 5.0 系列模型,覆盖从高精度转录到边缘设备实时处理的完整语音工作流,开源策略让企业级语音技术更易获取。
NVIDIA 发布 Kumo Forecast(前称 NV-Tesseract Forecasting)多变量时序预测模型,结合预训练 Transformer 与领域感知表示检索(DARR),提供直接预测与历史模式检索两种路径,并包含可解释性框架。模型基于 MOMENT-1-large,约 3.4 亿参数,支持 256/512/1024/2048 观测长度输入,采用 Apache 2.0 许可证。
推荐理由:将预训练模型与历史模式检索结合,为时序预测提供可解释性,这是工业预测的新思路。
NVIDIA 发布了涵盖语言、机器人、生物和量子计算的开源模型家族,包括 Nemotron 3.5 Super VL 和 Bolt、Kumo 结构化数据模型、Cosmos 3.5 世界模型、Alpamayo 2 Edge 自动驾驶模型、BioNeMo 生物模型和 Ising 量子计算模型。
推荐理由:NVIDIA 一次性发布覆盖语言、机器人、生物和量子计算的全栈开源模型,企业可基于本地数据定制并自主部署,欧洲合作伙伴阵容强大。
i14与AWS合作,将Laplace 3B线性注意力模型适配到AWS Trainium2加速器上,使用原生PyTorch支持。该模型通过门控线性注意力(GLA)实现固定大小的循环状态(29.5MB/序列),训练速度达120,000 tokens/秒,推理速度达11,544输出tokens/秒(1,280并发序列)。
推荐理由:线性注意力模型在AWS Trainium2上实现了固定状态大小,解决了传统transformer的KV缓存增长问题,为长上下文应用提供了新思路。
Hugging Face发布FairStress基准,用于评估大语言模型在人口公平性方面的表现。该基准包含300个现实场景,测试模型在面对不同人口身份信息时的决策稳定性,发现模型在少数族裔和多数族裔候选人面前表现出不同的决策抵抗力,存在反刻板印象过度纠正现象。
推荐理由:LLM在决策中存在反刻板印象过度纠正现象,同一论据对少数族裔和多数族裔候选人的影响不对称,现有去偏方法效果有限。
Hugging Face 发布 TorchTPU,为 PyTorch 添加原生 TPU 后端,使开发者可以直接在 TPU 上运行 Transformers、Diffusers 和 Kernels 库。
推荐理由:TorchTPU 让 PyTorch 原生支持 TPU,开发者无需学习 JAX 或使用 torch_xla,只需一行代码即可将模型迁移到 TPU。
IBM研究团队提出ALTK-Evolve方法,使用GPT-4.1学习并应用行为指南,在不更新模型权重的情况下,将基础ReAct智能体在τ²-bench客户服务基准测试中的Pass^4提升至67.5%,超越所有零售领域提交的条目。
推荐理由:通过学习指南而非权重更新提升基础模型性能,为低成本高可靠性智能体提供新路径。
TwelveLabs Pegasus 1.5 视频语言模型现已登陆 Amazon Bedrock,可将长视频转化为带时间戳的结构化元数据。新版本支持基于时间的元数据生成、多模态提示(结合文本和参考图像)以及即时处理,无需预索引即可分析长达两小时的视频。用户可直接从 Amazon S3 URI 或 base64 字符串发送视频,数据保持在 AWS 数据边界内。
推荐理由:视频语言模型Pegasus 1.5在Amazon Bedrock上线,将长视频转化为结构化元数据,无需预索引即可处理两小时视频。
AWS 机器学习博客介绍了基于推送的KV传输技术,用于改进vLLM中解耦推理的TTFT和TPOT。在Amazon EC2 P5en实例上测试,推送模式相比拉取模式实现了最高3倍的TTFT提升和30%的TPOT改善。该技术通过将传输协调工作移至预填充端的后台线程,避免了关键路径上的延迟。
推荐理由:将KV传输从拉取模式改为推送模式,使解码端准备与预填充计算重叠,显著降低了高请求率下的TTFT和TPOT。
NVIDIA与IIT Madras和AI4Bharat合作发布Nemotron-pretraining-Indic-v1数据集,包含2.8万亿token的印度语训练数据,涵盖22种印度宪法语言,并开放了GPU加速的数据生成流程。该数据集结合了原生脚本和罗马化文本,包含数学、代码和问答内容,旨在解决印度语言技术因数据不足而落后于英语的问题。
推荐理由:原文提供了2.8万亿token的印度语训练数据和开放生成流程,为印度语模型训练提供了新资源。
IBM 发布 Granite Switch 4.1 模型,整合了聊天、决策和语音识别功能,支持从单一端点切换任务。该模型包含新的决策 aLoRA、Guardian aLoRA 和 Granite-Speech-5.0-Turbo-CTC,在安全决策任务上优于多个竞争模型,并可在单个 GPU 上实时运行多种任务。
推荐理由:原文提供了多模态能力整合和性能对比,读者可据此评估其在实际应用中的效率优势。