Hugging Face 原生接入 TorchTPU 后端
热点事件持续更新
Hugging Face 原生接入 TorchTPU 后端
1 篇报道1 个报道来源18 小时前更新
先了解这件事
AI 综述
Hugging Face 宣布,TorchTPU 作为 PyTorch 的原生 TPU 后端,已获得 Hugging Face 生态的原生支持:Transformers、Diffusers 和 Kernels 现在可以直接在 TPU 上运行,不再需要 torch_xla 或 Optimum TPU。 使用方式上,加载模型时传入 device_map="tpu",Diffusers 管道调用 pipe.to("tpu"),编译模式需额外加一次 compile 调用;超大模型可通过 TensorParallelConfig 跨芯片切分。 在 TPU VM 上安装只需一条命令:pip install torch-tpu --extra-index-url https://download.pytorch.org/whl/cpu,该额外索引提供的是 torch 的 CPU 构建版本。Hugging Face 称,在 TPU 上运行的测试中有 96.5% 通过。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 08:00
Hugging Face 接入 TorchTPU,Transformers 与 Diffusers 原生支持 TPU报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- Hugging Face Blog精选Hugging Face 接入 TorchTPU,Transformers 与 Diffusers 原生支持 TPU
Hugging Face 宣布 TorchTPU 为 PyTorch 增加原生 TPU 后端,Transformers、Diffusers 和 Kernels 现在可直接在 TPU 上运行,不再需要 torch_xla 或 Optimum TPU。加载模型只需传入 device_map="tpu",Diffusers 管道用 pipe.to("tpu") 即可,编译模式额外加一次 compile 调用,超大模型可通过 TensorParallelConfig 跨芯片切分。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。