Hugging Face 介绍 PyTorch 2.15 的 MPS 后端改进
先了解这件事
Hugging Face 的 PyTorch 团队发布 PyTorch 2.15 的 MPS 后端更新,为 Mac 带来 FP8 支持,并称大模型解码速度显著提升。 MPS 新增 torch.float8_e4m3fn 张量,占用为 BF16 的一半,可通过 F.scaled_mm 在 GPU 上直接相乘。团队称,MoE 模型解码速度比 2.14 快 5–6.5 倍:在 M3 Ultra 上配合 torch.compile,Qwen3.6-35B-A3B 从 9.4 tokens/s 提升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 提升到 123.6 tokens/s。 使用条件方面,MPS 现在要求 macOS 15 或更高版本,PyTorch 2.15 要求 Python 3.11 或更高版本。团队还提到,logspace 尚不支持多元素的整数或布尔输出。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hugging Face Blog精选PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码
Hugging Face 的 PyTorch 团队发布 PyTorch 2.15 的 MPS 后端更新,为 Mac 带来 FP8 支持并显著加快大模型解码。MPS 新增 torch.float8_e4m3fn 张量,占用为 BF16 的一半,可通过 F.scaled_mm 在 GPU 上直接相乘。MoE 模型解码速度比 2.14 快 5–6.5 倍,在 M3 Ultra 上配合 torch.compile,Qwen3.6-35B-A3B 从 9.4 tokens/s 提升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 提升到 123.6 tokens/s。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。