跳到正文
热点事件持续更新

英伟达发布开源语音模型 Nemotron 3.5 Transcribe

4 篇报道4 个报道来源2 小时前更新

先了解这件事

AI 综述

英伟达发布开源权重语音模型 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答合并进同一个模型,并同时发布开源语音数据集 Granary 第 2 版。模型已在 Hugging Face 和 ModelScope 上线,可转写最多 40 种语言的录音,支持 31 种语言与英语互译、13 种语言的说话人标注,能处理最长一小时的录音并区分最多 8 位说话人,还支持用自然语言提示控制输出格式。 英伟达称,该模型在 Hugging Face Open ASR Leaderboard 英语榜以 5.33% 平均 WER 位列开源权重模型第一,在 Artificial Analysis 上以 2.8% AA-WER 与更大模型并列开源第一;在 RTX PRO 6000 Blackwell Server Edition 上以 NVFP4 精度处理 100 小时音频耗时不到三分钟。模型总参数 30B,每 token 仅约 4B 激活,可运行在从 Jetson AGX Thor、DGX Spark 到 Blackwell 数据中心系统的单块英伟达 GPU 上;不想自行部署的用户可改用 Baseten、DeepInfra、Simplismart 的托管接口。 该模型面向商务会议和医疗转写类应用开发者,可结合 Granary 数据集与 NeMo Speech 等工具定制各语言的行业术语识别;英伟达还提供微调指南和一个让 AI 编程助手运行训练流程的扩展。局限在于只处理录音,不支持实时音频流。Granary 第 2 版的源音频需按各语料原许可证单独下载并遵守发布条款。

AI 根据报道生成 · 52 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. The Decoder
    Nvidia 发布开源语音模型 Nemotron 3.5 Transcribe,整合转写、翻译与说话人识别

    Nvidia 发布开源语音识别模型 Nemotron 3.5 Transcribe,把转写、翻译和说话人识别整合进单一模型,并支持通过文本指令控制输出。该模型可转写 40 种语言、在 31 种语言与英语之间互译、识别 13 种语言中的说话人,处理最长一小时的录音和最多 8 位说话人。模型总参数 30B、每步仅约 4B 激活,可在单张 Nvidia GPU 上运行;Nvidia 称在 RTX PRO 6000 Blackwell Server Edition 上以 NVFP4 精度处理 100 小时音频耗时不到三分钟。

  2. NVIDIA Blog精选
    NVIDIA RTX Spark 轻薄本更新:新增 Nemotron 3.5 Transcribe 与智能体资源调度

    NVIDIA 为 RTX Spark 轻薄本带来一批更新,包括开放权重语音模型 Nemotron 3.5 Transcribe、Liquid AI 的 LFM3 模型家族,以及 NVIDIA App 中可在前台应用与后台智能体之间分配 GPU 资源的控制项。Nemotron 3.5 Transcribe 用单个可提示模型完成转写、说话人标注和翻译,覆盖 40 种语言,约 4.3B 激活参数,已在 Hugging Face 以 BF16、FP8 和 NVFP4 格式发布,并支持 RTX Spark、DGX Spark 和 Jetson AGX Thor。

  3. TechCrunch · AI
    英伟达发布开源语音转写模型 Nemotron 3.5 Transcribe

    英伟达发布免费开源权重模型 Nemotron 3.5 Transcribe,可转写最多 40 种语言的音频,同时发布开源语音数据集 Granary 的第 2 版。英伟达称该模型支持 31 种语言与英语互译,可处理最长一小时的录音,并能区分最多 8 位说话人,在 Hugging Face 的 Open ASR Leaderboard 等基准上优于竞品。该模型面向商务会议和医疗转写类应用开发者,可结合 Granary 数据集与 NeMo Speech 等工具定制各语言行业术语识别。其局限在于只处理录音而非实时流,但 30B 参数可运行在 Jetson AGX Thor、DGX Spark 及 Blackwell 数据中心芯片等单芯片上。同期 Mistral 发布 Voxtral 3、ElevenLabs 推出 Realtime、Salesforce 发布 Launa-Omni。

  4. Hugging Face Blog精选
    NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2 数据管线

    NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答合并到一个 checkpoint,已在 Hugging Face 和 ModelScope 上线。该模型支持 40 种语言转写、31 种语言与英语互译、13 种语言的说话人标注,可处理最长 1 小时录音并标注最多 8 位说话人,支持自然语言提示控制输出格式。在 Hugging Face Open ASR Leaderboard 英语榜上,它以 5.33% 平均 WER 位列开源权重模型第一;在 Artificial Analysis 上以 2.8% AA-WER 与更大模型并列开源第一,30B 参数中每 token 仅约 4B 激活。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。