跳到正文

#端侧科技财经热点 · 每日精选

425今日入库
7 条进入精选
46/47 信源在线· 1 异常
近 14 天入库走势
近 7 天分类构成
行业 1299财经 1140硬件本体 877AI 产品 752AI 模型 263其他 387
  1. AWS Machine Learning Blog73

    AWS博客:使用Amazon SageMaker AI上的Kokoro TTS实现AI语音代理的流式低延迟语音

    AWS发布教程,展示如何通过流式文本到语音(TTS)技术解决AI语音代理的响应延迟问题。文章介绍了在Amazon SageMaker AI上部署Kokoro-82M模型,实现句子级别的语音合成,将首次音频输出时间从329.3毫秒减少到156.7毫秒,提升52.4%。同时比较了不同传输方式的成本和性能,包括base64编码SSE和二进制JSON混合传输方案。

    推荐理由:通过流式合成解决AI语音助手响应延迟问题,将首次音频输出时间减少一半以上,展示了如何在SageMaker上实现低延迟语音流。

  1. Google Research70

    Google Research 发布AI辅助超声在基层产科护理中的应用研究

    Google Research在JAMA Network Open发表研究,展示AI系统可通过'盲扫'超声技术评估孕龄,准确率达临床标准(MAE 4.18天),在芝加哥和内罗毕不同医疗环境中均表现稳定。该技术使未经专业培训的医护人员能执行可靠超声检查,有望扩大资源匮乏地区的产前筛查覆盖范围。

    推荐理由:AI辅助超声在资源匮乏地区实现与专家相当的孕龄评估,验证了技术泛化能力与普惠医疗潜力。

  1. NVIDIA Blog76

    NVIDIA 发布 RTX Spark、DGX Spark 和 DGX Station 本地 AI 硬件

    NVIDIA 在 GTC Berlin 展示本地 AI 硬件产品线:RTX Spark 为 Windows PC 提供个人智能体支持;DGX Spark 支持开发者构建和扩展应用;DGX Station 为企业团队提供前沿工作负载支持。

    推荐理由:NVIDIA 推出三款本地 AI 硬件,将智能体从云端推向桌面,本地大模型支持与推理加速成为关键看点。

  1. Hugging Face Blog75

    Hugging Face 发布 TorchTPU:PyTorch 原生支持 TPU

    Hugging Face 发布 TorchTPU,为 PyTorch 添加原生 TPU 后端,使开发者可以直接在 TPU 上运行 Transformers、Diffusers 和 Kernels 库。

    推荐理由:TorchTPU 让 PyTorch 原生支持 TPU,开发者无需学习 JAX 或使用 torch_xla,只需一行代码即可将模型迁移到 TPU。

  2. Hugging Face Blog75

    Hugging Face 发布 AnyLanguageModel 1.0:支持苹果平台本地模型

    Hugging Face 发布 AnyLanguageModel 1.0,这是一个苹果 Foundation Models 框架的替代方案,允许开发者选择应用使用的模型和提供商。该版本支持本地模型(llama.cpp、MLX、Core ML)和云端模型(OpenAI、Anthropic、Google Gemini等),提供工具调用、引导生成、图像支持等功能,并加速模型下载。

    推荐理由:统一API让本地与云端模型无缝切换,开发者无需重构代码即可灵活部署,这可能是跨平台AI应用落地的关键一步。

  3. AWS Machine Learning Blog70

    AWS 推出基于推送的KV传输技术提升vLLM推理性能

    AWS 机器学习博客介绍了基于推送的KV传输技术,用于改进vLLM中解耦推理的TTFT和TPOT。在Amazon EC2 P5en实例上测试,推送模式相比拉取模式实现了最高3倍的TTFT提升和30%的TPOT改善。该技术通过将传输协调工作移至预填充端的后台线程,避免了关键路径上的延迟。

    推荐理由:将KV传输从拉取模式改为推送模式,使解码端准备与预填充计算重叠,显著降低了高请求率下的TTFT和TPOT。

  1. NVIDIA Blog65

    NVIDIA发布RTX Spark PC产品

    NVIDIA宣布推出RTX Spark PC,专为创作者、游戏玩家和AI智能体设计,将于10月16日在全球多地举办发布会。评测显示该产品在AI、游戏和创意工作流方面表现优异,并已与多家应用优化合作。

    推荐理由:原文提供了全球发布会信息和评测引用,读者可据此了解RTX Spark的实际表现和适用场景。

  1. NVIDIA Blog83

    NVIDIA 发布 Nemotron 3.5 Super VL 和 Bolt 模型

    NVIDIA 发布了 1200 亿参数的开放模型 Nemotron 3.5 Super VL,以及两个边缘模型 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB,覆盖从企业服务器到边缘设备的全范围智能体部署。Super VL 在多模态智能体任务上达到前沿准确度,同时速度比同类模型快 5 倍;Bolt 系列则针对本地硬件优化,平衡智能与速度。

    推荐理由:NVIDIA 推出覆盖从数据中心到边缘设备的全系列智能体模型,开放权重让企业能自主定制部署。

  1. Hugging Face Blog78

    LiquidAI 发布 LFM2.5-24B-A2B 推理模型

    LiquidAI 发布 LFM2.5-24B-A2B 推理模型,这是一个24B参数但仅2B活跃参数的模型,专为在设备上快速、私密运行智能体而设计。该模型在16项基准测试中表现出色,在工具使用和智能体工作流方面领先或匹敌更大规模的模型,推理速度在Apple M5 Max上达到184 tok/s,在NVIDIA B300 GPU上可达21K输出tok/s。

    推荐理由:模型以2B活跃参数实现推理能力,在设备上运行速度快且成本低,适合构建本地智能体。

  1. AWS Machine Learning Blog68

    AWS发布Bedrock AgentCore支付功能,支持AI智能体按次推理付费

    AWS发布Bedrock AgentCore支付功能,让AI智能体能够按需支付服务费用。BlockRun和Incarna展示了如何使用该功能实现端到端的按次推理付费流程,每个请求独立计价和结算。Incarna团队仅用三天就完成了集成,处理了超过1000笔从0.001到0.05美元不等的支付交易。

    推荐理由:原文介绍了AWS Bedrock AgentCore支付功能如何解决AI智能体按次推理付费的难题,读者可了解其架构与实施流程。

  1. NVIDIA Blog85

    NVIDIA与Microsoft联合推出RTX Spark和AI智能体功能

    NVIDIA与Microsoft在旧金山活动中宣布合作开发Windows PC上的AI智能体硬件和软件方案,推出RTX Spark笔记本电脑和紧凑型桌面,以及DGX Station for Windows企业级AI工作站。

    推荐理由:原文给出了硬件和软件协同方案,读者可以据此了解AI智能体在Windows PC上的本地化部署路径。

  2. Hugging Face Blog72

    LiquidAI 发布边缘端多模态决策模型 d1-3B 和 d1-omni-600M

    LiquidAI 发布两个开源决策模型 d1-3B 和 d1-omni-600M,支持文本、图像和音频输入,在边缘设备上实现快速推理。d1-3B 在 Decision Index 0.2.1 上得分为 48.57,优于所有 4B 和 9B 模型,在 NVIDIA Jetson AGX Thor 上回答问题仅需 16 ms。

    推荐理由:原文提供了模型性能指标和部署速度,读者可据此评估其在边缘设备上的实用性。

  1. NVIDIA Blog73

    NVIDIA 发布 DGX Spark 64GB 版本

    NVIDIA 推出 DGX Spark 64GB 配置,支持运行 1000 亿参数模型,双节点集群可扩展至 2000 亿参数并提升 1.7 性能,10 月 23 日起售价 4999 美元起。

    推荐理由:原文给出了配置升级和集群能力,读者可以据此评估本地AI开发环境扩展性。

  1. Google DeepMind70

    Google DeepMind 推出安全的服务器端内存技术

    Google DeepMind 发布了 Private AI Compute 架构更新,引入安全的服务器端内存功能,使 AI 助手能够在云端安全地存储长期记忆,同时保持设备端级别的隐私保护。该技术通过硬件强制安全区、加密通道和设备派生加密密钥保护用户数据,确保即使 Google 也无法访问用户信息。

    推荐理由:原文给出了隐私计算架构的更新方案,解决了云端AI长期记忆与设备端隐私保护的矛盾。

已经到底了