跳到正文
Hugging Face Blog·· 18 小时前精选AI 评分75

Hugging Face 接入 TorchTPU,Transformers 与 Diffusers 原生支持 TPU

Hugging Face ❤️ TorchTPU: TPUs, Natively

AI 导读

Hugging Face 宣布 TorchTPU 为 PyTorch 增加原生 TPU 后端,Transformers、Diffusers 和 Kernels 现在可直接在 TPU 上运行,不再需要 torch_xla 或 Optimum TPU。加载模型只需传入 device_map="tpu",Diffusers 管道用 pipe.to("tpu") 即可,编译模式额外加一次 compile 调用,超大模型可通过 TensorParallelConfig 跨芯片切分。

推荐理由

原文给出了安装命令、代码示例和实测加速数据,读者可据此判断现有 PyTorch 工作流迁移到 TPU 的成本。

来源:Hugging Face Blog · huggingface.co