跳到正文
热点事件持续更新

Hugging Face 原生接入 TorchTPU 后端

1 篇报道1 个报道来源18 小时前更新

先了解这件事

AI 综述

Hugging Face 宣布,TorchTPU 作为 PyTorch 的原生 TPU 后端,已获得 Hugging Face 生态的原生支持:Transformers、Diffusers 和 Kernels 现在可以直接在 TPU 上运行,不再需要 torch_xla 或 Optimum TPU。 使用方式上,加载模型时传入 device_map="tpu",Diffusers 管道调用 pipe.to("tpu"),编译模式需额外加一次 compile 调用;超大模型可通过 TensorParallelConfig 跨芯片切分。 在 TPU VM 上安装只需一条命令:pip install torch-tpu --extra-index-url https://download.pytorch.org/whl/cpu,该额外索引提供的是 torch 的 CPU 构建版本。Hugging Face 称,在 TPU 上运行的测试中有 96.5% 通过。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. Hugging Face Blog精选
    Hugging Face 接入 TorchTPU,Transformers 与 Diffusers 原生支持 TPU

    Hugging Face 宣布 TorchTPU 为 PyTorch 增加原生 TPU 后端,Transformers、Diffusers 和 Kernels 现在可直接在 TPU 上运行,不再需要 torch_xla 或 Optimum TPU。加载模型只需传入 device_map="tpu",Diffusers 管道用 pipe.to("tpu") 即可,编译模式额外加一次 compile 调用,超大模型可通过 TensorParallelConfig 跨芯片切分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。