Deepgram将Nova-3移植至AWS Trainium2

Deepgram与AWS合作，将Nova-3语音转文字模型移植到AWS Trainium2芯片上运行，用于联络中心分析、医疗转写等离线批处理场景。Deepgram称，在单台Amazon EC2 trn2.3xlarge实例上运行8个模型副本，其离线、以吞吐为导向的批处理任务每美元处理的音频量，比Deepgram此前使用的计算方案高11%–70%；该数据按评估时的实例价格计算。 移植从标准PyTorch代码起步，借助TorchNeuron的eager模式与torch.compile编译，使全部算子都在Trainium2上运行、无CPU回退，并以层级输出一致性和端到端WER校验精度。Deepgram还开发了数据并行Rust运行时，让其自有模型服务器能够调用Trainium。 Deepgram称，这些收益可延伸至在自有虚拟私有云（VPC）中、通过Amazon SageMaker AI自托管Deepgram模型的客户。上述每美元音频处理量的提升幅度，是Deepgram在自身批处理负载上测得的结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。