Hugging Face Blog·· 20 小时前精选AI 评分62
Hugging Face 推出 TorchNeuron 后端,在 AWS Trainium 上运行模型更简单
TorchNeuron: running HF models on AWS Trainium is easier than ever
AI 导读
Hugging Face 发布 TorchNeuron,为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers 和 Kernels 原生支持,2026 年 10 月 20 日起进入公开测试,可通过 pip install torch-neuronx 安装。此前 HF 在 Trainium 和 Inferentia 上依赖 optimum-neuron 与 PyTorch XLA,需要处理惰性张量、静态形状和每次图断裂重编译;TorchNeuron 直接集成 PyTorch,把 neuron 暴露为原生设备,支持 eager 执行、torch.compile 以及 DTensor、FSDP2 等分布式原语。
推荐理由
原文给出了 TorchNeuron 在 Transformers、Diffusers、TRL 中的接入方式与支持比例变化,可据此判断 Trainium 上的迁移成本。
来源:Hugging Face Blog · huggingface.co