AWS SageMaker AI多轮强化学习实践指南
AWS发布多轮强化学习(MTRL)教程，指导用户如何在SageMaker AI上训练AgentCore智能体，使其能够处理需要序列决策的任务。教程以Wordle游戏为例，展示了从环境部署、数据准备到模型训练和评估的完整流程，使用GPT-OSS-20B模型将解决率从61%提升到84%，训练成本约339美元。
推荐理由：多轮强化学习让模型从单次回答转向序列决策，AWS教程展示了如何用SageMaker训练AgentCore智能体。
技术方向
部署工程 最新动态
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
57 条精选近 30 天 52 条共收录 199 条
更新
部署工程的精选
AWS Machine Learning Blog精选AI 评分7575
AWS Machine Learning Blog精选AI 评分7373 AWS博客：使用Amazon SageMaker AI上的Kokoro TTS实现AI语音代理的流式低延迟语音
AWS发布教程，展示如何通过流式文本到语音(TTS)技术解决AI语音代理的响应延迟问题。文章介绍了在Amazon SageMaker AI上部署Kokoro-82M模型，实现句子级别的语音合成，将首次音频输出时间从329.3毫秒减少到156.7毫秒，提升52.4%。同时比较了不同传输方式的成本和性能，包括base64编码SSE和二进制JSON混合传输方案。
推荐理由：通过流式合成解决AI语音助手响应延迟问题，将首次音频输出时间减少一半以上，展示了如何在SageMaker上实现低延迟语音流。
AWS Machine Learning Blog精选AI 评分7575 AWS 推出 SageMaker 训练会话 API，无需管理 GPU 即可编写自定义训练循环
AWS 发布 Amazon SageMaker 训练会话 API，允许开发者编写自定义训练循环，同时由服务管理 GPU 资源、分布式执行、故障恢复和检查点存储。
推荐理由：将训练抽象从算法层下沉到计算层，让开发者专注算法创新而无需管理GPU资源，这种服务模式可能重塑大模型定制化开发流程。
AWS Machine Learning Blog精选AI 评分6565 Rescale 如何使用 Strands Agents 和 AI-DLC 构建 AI 分类智能体
Rescale 使用 AWS 的 AI-Driven Development Lifecycle (AI-DLC) 框架，在五天内构建了一个智能分类智能体，用于自动分类和路由夜间端到端测试失败。
推荐理由：五天从概念到测试环境，AI-DLC方法论让智能体开发既快又稳，关键在于人机协作而非完全自动化。
AWS Machine Learning Blog精选AI 评分6868 AWS发布基于Strands Agents的自适应智能体智能框架
AWS发布了基于Strands Agents的自适应智能体智能框架(AAIF)，通过本地小模型处理常规任务，云端大模型处理复杂分析，降低API成本并减少延迟。该框架采用三层架构：智能调度层使用轻量级SLM作为决策层，本地处理层通过Ollama运行SLM处理常规任务，云处理层通过Amazon Bedrock处理复杂模式分析和战略建议。
推荐理由：通过本地小模型与云端大模型协同，AAIF框架解决了AI智能体全依赖大模型导致的成本与延迟问题，展示了智能路由的实用价值。
Hugging Face Blog精选AI 评分8181 VocabX：通过词汇专业化降低小模型推理成本77%
Hugging Face 博客介绍了 VocabX 方法，通过按成本而非频率重构词汇表，在保持基础模型不变的情况下，将葡萄牙语作文评分系统的推理成本降低77%，同时提高了评分质量。该方法在多个领域和模型家族中都优于现有参考方法。
推荐理由：通过按成本而非频率重构词汇表，VocabX 在保持模型不变的情况下降低推理成本77%，为小模型领域专业化提供新思路。
NVIDIA Blog精选AI 评分6565 NVIDIA cuDSS 正式发布，加速工程与科学仿真
NVIDIA cuDSS 今日正式发布，这是一款 CUDA-X 库，可将工程和科学仿真中的关键部分转移到 GPU 上执行。cuDSS 加速大型稀疏系统求解，使应用程序减少结果时间并提高仿真吞吐量，使用户能够以更低成本探索更大、更真实的模型。Applied Materials、COMSOL、Cadence 等行业领导者已将 cuDSS 集成到其工具中，实现最高 10 倍的加速。
推荐理由：cuDSS 将稀疏系统求解加速10倍，让工程仿真从工作站扩展到计算集群，降低设计验证成本。
NVIDIA Blog精选AI 评分7070 NVIDIA发布Vera CPU助力欧洲构建本地基础设施
NVIDIA推出Vera CPU，被Nebius、Nscale等云服务商采用，用于构建支持智能体计算的新一代基础设施。Vera CPU专为智能体工作负载设计，能在处理数千个任务时保持高速响应，支持AI代理执行代码、运行工具和测试结果。服务器制造商Bull、Dell、HPE等已基于Vera构建系统，数据公司ClickHouse、Elastic等测试显示其在分析、ETL和语义搜索工作负载上表现优异。
推荐理由：Vera CPU专为智能体计算设计，在千级并发下保持响应速度，正在重构数据中心与AI基础设施的底层架构。
TechCrunch · AI精选AI 评分7676 谷歌推出TorchTPU，加入亚马逊阵营挑战NVIDIA在AI开发者中的主导地位
谷歌宣布开源TorchTPU，这是其长期期待的PyTorch版本，允许AI应用在谷歌TPU芯片上运行。亚马逊此前也发布了TorchNeuron，使AI应用可移植到其Trainium芯片和AWS。
推荐理由：谷歌开源TorchTPU，与亚马逊联手打破NVIDIA在AI开发者中的垄断地位，这场芯片战争的关键在于生态迁移的便利性。
AWS Machine Learning Blog精选AI 评分6565 Octave如何在Amazon Bedrock上构建安全的多租户AI基础架构
Octave Reliance在AWS上构建了一个安全的多租户AI基础架构，解决了医疗设备、制药和食品制造等监管行业中的数据隔离与语义搜索需求。该架构包含数据准备、安全执行和内容保护三层，使用Cohere Embed v4模型和Amazon Bedrock AgentCore，实现了2亿文档的嵌入处理和投诉分类助手功能，将每个用例的部署时间减少了50%。
推荐理由：在医疗设备等强监管领域，Octave通过构建三层AI基础架构，实现了多租户数据隔离与高效语义搜索，为SaaS平台AI落地提供了可复用的安全模式。
AWS Machine Learning Blog精选AI 评分7070 Eon 如何在 Amazon Bedrock AgentCore 上构建多云调查功能
Eon 使用 Amazon Bedrock AgentCore 构建了单一认证网关，替代了多工具凭证和本地 Model Context Protocol (MCP) 进程。该架构实现了基于 Cedar 的身份分离、跨账户连接，以及超过100名开发人员和自主代理在三个云上的统一工具访问。新工程师现在可以在约两分钟内访问其角色允许的所有工具，而之前需要两天时间配置凭证和本地 MCP 服务器。
推荐理由：用单一网关替代多工具凭证和本地MCP进程，将工程师入职时间从两天缩短到两分钟。
Hugging Face Blog精选AI 评分7575 Hugging Face 发布 TorchTPU：PyTorch 原生支持 TPU
Hugging Face 发布 TorchTPU，为 PyTorch 添加原生 TPU 后端，使开发者可以直接在 TPU 上运行 Transformers、Diffusers 和 Kernels 库。
推荐理由：TorchTPU 让 PyTorch 原生支持 TPU，开发者无需学习 JAX 或使用 torch_xla，只需一行代码即可将模型迁移到 TPU。
Hugging Face Blog精选AI 评分7575 Hugging Face 发布 AnyLanguageModel 1.0：支持苹果平台本地模型
Hugging Face 发布 AnyLanguageModel 1.0，这是一个苹果 Foundation Models 框架的替代方案，允许开发者选择应用使用的模型和提供商。该版本支持本地模型(llama.cpp、MLX、Core ML)和云端模型(OpenAI、Anthropic、Google Gemini等)，提供工具调用、引导生成、图像支持等功能，并加速模型下载。
推荐理由：统一API让本地与云端模型无缝切换，开发者无需重构代码即可灵活部署，这可能是跨平台AI应用落地的关键一步。
Hugging Face Blog精选AI 评分6565 PyTorch 2.15 为 Mac 带来 MPS 性能大幅提升
PyTorch 2.15 为 Apple Silicon Mac 带来多项性能提升：FP8 支持让模型占用内存减半，MoE 模型解码速度提升 5-6.5 倍，视频解码内存占用从 270GB 降至 8GB，线性层和 softmax 运算速度显著提高。
推荐理由：FP8和Metal内核优化让Mac上的模型推理速度提升5-6.5倍，内存占用从270GB降至8GB，开源生态在端侧持续突破性能边界。
IT之家精选AI 评分7676 亚马逊推出开源工具 TorchNeuron，支持自研 Trainium 芯片运行 PyTorch 代码
亚马逊宣布推出开源工具 TorchNeuron，允许开发者编写的 PyTorch 代码只需更改一次配置即可在自研 Trainium 芯片上本地运行，无需重写代码。该工具将于 10 月 20 日在北美 PyTorch 大会上以开源许可形式发布，旨在为开发者提供除英伟达 CUDA 外的可行选择。
推荐理由：开源工具让 PyTorch 代码无需重写即可在自研芯片上运行，挑战英伟达 CUDA 垄断地位。
AWS Machine Learning Blog精选AI 评分7575 AWS 在 Amazon Bedrock 上支持 Anthropic Claude 模型的结构化输出
AWS 宣布 Amazon Bedrock 现已支持所有 Anthropic Claude 模型的结构化输出功能，用户可通过 bedrock-runtime 和 bedrock-mantle 端点获取符合 JSON schema 的响应，无需自定义解析或重试逻辑。该功能通过约束解码确保输出符合预定义结构，适用于数据提取、报告生成、API 响应和智能工单路由等场景，并支持批量推理和跨区域推理。
推荐理由：结构化输出将 Claude 响应从概率性转为确定性，减少解析成本的同时提升生产环境可靠性。
Hugging Face Blog精选AI 评分7575 Hugging Face发布TorchNeuron，简化在AWS Trainium上运行模型
Hugging Face发布TorchNeuron，为PyTorch提供AWS Trainium的新原生后端。从2026年10月20日起，研究人员和开发者可通过pip install torch-neuronx安装使用。TorchNeuron使Transformers、Diffusers等库直接支持Trainium，文本生成模型支持率从Optimum Neuron的46%提升至89%。
推荐理由：TorchNeuron让AWS Trainium支持PyTorch原生接口，模型支持率从46%提升至89%，降低了AI芯片的使用门槛。
GitHub Blog · AI & ML精选AI 评分7070 GitHub Copilot 应用会话如何在 VS Code 中继续
GitHub 发布教程，介绍如何将 Copilot 应用中的会话直接在 VS Code 中打开，保持对话、代码更改和工作上下文不变。用户可以在 VS Code 中审查代理的更改、继续对话、手动修改代码、本地测试并推送更新到关联的拉取请求。
推荐理由：打通 Copilot 应用与 VS Code 的会话流转，让 AI 辅助开发与人工调试无缝衔接。
AWS Machine Learning Blog精选AI 评分7070 AWS 推出基于推送的KV传输技术提升vLLM推理性能
AWS 机器学习博客介绍了基于推送的KV传输技术，用于改进vLLM中解耦推理的TTFT和TPOT。在Amazon EC2 P5en实例上测试，推送模式相比拉取模式实现了最高3倍的TTFT提升和30%的TPOT改善。该技术通过将传输协调工作移至预填充端的后台线程，避免了关键路径上的延迟。
推荐理由：将KV传输从拉取模式改为推送模式，使解码端准备与预填充计算重叠，显著降低了高请求率下的TTFT和TPOT。
Solidot精选AI 评分6868 SonicBoom发布：AI框架告别手工调优
SonicBoom是一个全新的AI运行时框架，采用GPLv3许可证，提供语言无关的C API接口。它利用LLVM MLIR优化计算图，在保持PyTorch灵活性的同时获得类似TensorFlow的静态图性能，在RTX 3050 8G上提升原始性能20%。
推荐理由：SonicBoom 通过图编译器优化而非手工调优提升推理性能，实现了动态图灵活性与静态图性能的统一。