AWS SageMaker AI多轮强化学习实践指南
AWS发布多轮强化学习(MTRL)教程,指导用户如何在SageMaker AI上训练AgentCore智能体,使其能够处理需要序列决策的任务。教程以Wordle游戏为例,展示了从环境部署、数据准备到模型训练和评估的完整流程,使用GPT-OSS-20B模型将解决率从61%提升到84%,训练成本约339美元。
推荐理由:多轮强化学习让模型从单次回答转向序列决策,AWS教程展示了如何用SageMaker训练AgentCore智能体。
AWS发布多轮强化学习(MTRL)教程,指导用户如何在SageMaker AI上训练AgentCore智能体,使其能够处理需要序列决策的任务。教程以Wordle游戏为例,展示了从环境部署、数据准备到模型训练和评估的完整流程,使用GPT-OSS-20B模型将解决率从61%提升到84%,训练成本约339美元。
推荐理由:多轮强化学习让模型从单次回答转向序列决策,AWS教程展示了如何用SageMaker训练AgentCore智能体。
联想集团首席科学家肖利民介绍,随着中国每天Token消耗量从2024年的1000亿跃升至2025年8月的500万亿,存储墙问题被放大。联想推出基于内存池化和近存计算的存算融合池化系统,在三个核心模块测试中,首Token延迟降低2.4-3.5倍,系统吞吐提升6-20倍。
Linux 7.4 内核已合入 AMD Zen 6 处理器的安全缓解机制调整,利用 BTB 上下文隔离功能关闭 SafeRET 以减少性能开销。该补丁由 AMD 工程师 Borislav Petkov 于 2026 年 9 月 1 日提交,调整了内核对安全缓解状态的报告方式。
美光预计在 2028 年推出两种新型 3DS 内存产品:vHBM 和 vEIM。vHBM 是 3D 集成版本的 HBM,垂直堆叠 DRAM Die、Base Die 和 XPU 逻辑主芯片,可提升带宽效率并降低能耗;vEIM 专为端侧 AI 推理场景设计,初代产品目标实现 2TB/s 带宽和<1pj/bit 的能效。
AWS Trainium 通过 torchtitan 支持三种方式训练 Qwen3,包括 Transformers v5 后端、torchtitan 原生实现及 NKI MoE 内核优化。实验在 trn2.48xlarge 实例上完成,支持预训练和微调,可加载 Hugging Face 检查点并导出 safetensors 格式。
Hugging Face 博客介绍了 VocabX 方法,通过按成本而非频率重构词汇表,在保持基础模型不变的情况下,将葡萄牙语作文评分系统的推理成本降低77%,同时提高了评分质量。该方法在多个领域和模型家族中都优于现有参考方法。
推荐理由:通过按成本而非频率重构词汇表,VocabX 在保持模型不变的情况下降低推理成本77%,为小模型领域专业化提供新思路。
英伟达宣布其技术使半导体仿真速度最高提升40倍,并正式发布CUDA-X旗下cuDSS加速复杂仿真计算。imec基于英伟达模型的S-Litho基准测试显示显著提速,英飞凌使用相关技术使三维击穿模拟速度提升12倍。
DeepSeek发布开源推理代码,首次在同一项目中同时支持华为Ascend处理器和Nvidia数据中心GPU,使工作负载在两种芯片间迁移接近于切换配置。该代码旨在解决中国机房在芯片供应紧张时的灵活性问题,但实际性能和生产环境适配仍需验证。
AMD 和英特尔共同宣布在 PyTorch 的 x86 CPU 优化方面展开合作,将各自的优化工作整合进开源深度学习库 oneDNN,为开发者提供跨两家 CPU 的统一软件路径。AMD 将把其 ZenDNN 优化集成至 oneDNN,并加入统一加速基金会,双方还在推进面向 x86 的下一代指令集架构 AI 计算扩展(ACE)。
谷歌宣布开源TorchTPU,这是其长期期待的PyTorch版本,允许AI应用在谷歌TPU芯片上运行。亚马逊此前也发布了TorchNeuron,使AI应用可移植到其Trainium芯片和AWS。
推荐理由:谷歌开源TorchTPU,与亚马逊联手打破NVIDIA在AI开发者中的垄断地位,这场芯片战争的关键在于生态迁移的便利性。
Hugging Face 发布 TorchTPU,为 PyTorch 添加原生 TPU 后端,使开发者可以直接在 TPU 上运行 Transformers、Diffusers 和 Kernels 库。
推荐理由:TorchTPU 让 PyTorch 原生支持 TPU,开发者无需学习 JAX 或使用 torch_xla,只需一行代码即可将模型迁移到 TPU。
PyTorch 2.15 为 Apple Silicon Mac 带来多项性能提升:FP8 支持让模型占用内存减半,MoE 模型解码速度提升 5-6.5 倍,视频解码内存占用从 270GB 降至 8GB,线性层和 softmax 运算速度显著提高。
推荐理由:FP8和Metal内核优化让Mac上的模型推理速度提升5-6.5倍,内存占用从270GB降至8GB,开源生态在端侧持续突破性能边界。
亚马逊宣布推出开源工具 TorchNeuron,允许开发者编写的 PyTorch 代码只需更改一次配置即可在自研 Trainium 芯片上本地运行,无需重写代码。该工具将于 10 月 20 日在北美 PyTorch 大会上以开源许可形式发布,旨在为开发者提供除英伟达 CUDA 外的可行选择。
推荐理由:开源工具让 PyTorch 代码无需重写即可在自研芯片上运行,挑战英伟达 CUDA 垄断地位。
AWS展示了vLLM中的双向KV缓存传输技术,通过在预填充和解码节点间共享KV缓存,减少多轮对话中的重复计算。在Amazon EC2 P5en实例测试中,Qwen3-32B和GLM-5-FP8模型的TTFT分别降低1.6倍和3.3倍。该技术需要配置块保留TTL和重新计算阈值,并通过KV缓存感知路由器协调。
同一件事,精选收录的是《AWS 推出基于推送的KV传输技术提升vLLM推理性能》
AWS 机器学习博客介绍了基于推送的KV传输技术,用于改进vLLM中解耦推理的TTFT和TPOT。在Amazon EC2 P5en实例上测试,推送模式相比拉取模式实现了最高3倍的TTFT提升和30%的TPOT改善。该技术通过将传输协调工作移至预填充端的后台线程,避免了关键路径上的延迟。
推荐理由:将KV传输从拉取模式改为推送模式,使解码端准备与预填充计算重叠,显著降低了高请求率下的TTFT和TPOT。
Nvidia推出Nemotron 3.5 Super VL和两款Bolt模型,分别针对企业级智能体和本地PC端部署。Super VL拥有1200亿参数,Bolt 74B-A9B 24GB和E4B则设计用于本地运行。Nvidia称Super VL在特定任务上表现优于Anthropic和OpenAI的竞品,并已获得Skydance、EY等企业采用。
Nvidia发布Nemotron 3.5 Super VL,一个1200亿参数的开源多模态模型,专为持续运行的企业级AI智能体设计,同时推出两个面向本地设备的Bolt模型。
NVIDIA 发布了 1200 亿参数的开放模型 Nemotron 3.5 Super VL,以及两个边缘模型 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB,覆盖从企业服务器到边缘设备的全范围智能体部署。Super VL 在多模态智能体任务上达到前沿准确度,同时速度比同类模型快 5 倍;Bolt 系列则针对本地硬件优化,平衡智能与速度。
推荐理由:NVIDIA 推出覆盖从数据中心到边缘设备的全系列智能体模型,开放权重让企业能自主定制部署。
AWS详细介绍了在Amazon SageMaker AI上对Mixture-of-Experts (MoE)模型的内核优化技术,包括Swap-AB矩阵转置优化、FP8张量量化后端路由选择以及Triton JIT重新编译消除等方法,这些优化使MoE模型在H200上实现了高达10%的吞吐量提升和9%的首个token生成速度提升。
推荐理由:原文详细介绍了AWS在SageMaker AI上对MoE模型的内核优化技术,提供了具体实现方法和性能提升数据。
微软CEO纳德拉认为AI模型比传统软件更强大但却是黑盒子,开发者应围绕可观测性原则设计系统,包括模型多样性、观察一切、可验证性、独立控制、独立审计性、遏制、事件披露等原则,并假设模型已被破坏并从一开始就将其控制。
Microsoft Research 发布 Agent Lightning v1.0,这是一个约 3,500 行代码的轻量级智能体强化学习框架,支持真实 harnesses 直接参与强化学习。
OpenAI 发布 GPT-6 家族模型指南,指导初创企业选择模型、调整推理力度、优化提示词与技能、协调工具并准备生产工作流。
METR 研究显示 AI 在网络安全领域显著加速漏洞发现,数学领域贡献有限,AI 研究本身尚无显著进展。华盛顿大学等机构开发 SPADE 框架,通过 Qwen3-30B 模型自生成训练环境,在游戏和工具使用任务上分别提升 8.1 和 5.3 分。Hawkeye 项目通过优化 GPU 内核提升模型推理效率。