跳到正文
热点事件持续更新

Hugging Face 发布 TorchNeuron 原生后端

1 篇报道1 个报道来源20 小时前更新

先了解这件事

AI 综述

Hugging Face 发布 TorchNeuron,为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers 和 Kernels 将原生支持。该后端定于 2026 年 10 月 20 日进入公开测试,开发者可通过 pip install torch-neuronx 安装。 此前在 Trainium 和 Inferentia 上,Hugging Face 依赖 optimum-neuron 与 PyTorch XLA,需要处理惰性张量、静态形状以及每次图断裂后的重编译。TorchNeuron 直接集成 PyTorch,把 neuron 暴露为原生设备,支持 eager 执行、torch.compile 以及 DTensor、FSDP2 等分布式原语。 Hugging Face 称,今后建议 Neuron 用户直接使用这些库,而不再经由 Optimum Neuron。限制方面,Transformers 内置的异步权重加载在 Neuron 上不受支持,目前需通过 HF_DEACTIVATE_ASYNC_LOAD=1 将其关闭。

AI 根据报道生成 · 39 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. Hugging Face Blog精选
    Hugging Face 推出 TorchNeuron 后端,在 AWS Trainium 上运行模型更简单

    Hugging Face 发布 TorchNeuron,为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers 和 Kernels 原生支持,2026 年 10 月 20 日起进入公开测试,可通过 pip install torch-neuronx 安装。此前 HF 在 Trainium 和 Inferentia 上依赖 optimum-neuron 与 PyTorch XLA,需要处理惰性张量、静态形状和每次图断裂重编译;TorchNeuron 直接集成 PyTorch,把 neuron 暴露为原生设备,支持 eager 执行、torch.compile 以及 DTensor、FSDP2 等分布式原语。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。