PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码

Hugging Face 的 PyTorch 团队发布 PyTorch 2.15 的 MPS 后端更新，为 Mac 带来 FP8 支持并显著加快大模型解码。MPS 新增 torch.float8_e4m3fn 张量，占用为 BF16 的一半，可通过 F.scaled_mm 在 GPU 上直接相乘。MoE 模型解码速度比 2.14 快 5–6.5 倍，在 M3 Ultra 上配合 torch.compile，Qwen3.6-35B-A3B 从 9.4 tokens/s 提升到 61.3 tokens/s，LFM2.5-8B-A1B 从 23.6 提升到 123.6 tokens/s。