AWS 发布在 SageMaker HyperPod 上微调 GPT-OSS-20B 的教程
先了解这件事
AWS Machine Learning Blog 发布教程，介绍如何在 Amazon SageMaker HyperPod 上对开源权重推理模型 GPT-OSS-20B 做微调，以改善其多语言推理能力。AWS 称，该模型原本在 50 例多语言推理测试中只有 22% 的时间用正确目标语言推理，其中英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%。 实验使用 HuggingFaceH4/Multilingual-Thinking 数据集，约 949 条训练样本、50 条验证样本，对比了 SFT 与 GRPO 两种方案。结论是 SFT 承担主要工作，GRPO 在存在提升空间时进一步优化，技术选择需匹配模型的能力缺口。 训练栈基于 Amazon EKS 编排，GPT-OSS-20B 使用 PyTorch TRL，Qwen2.5-7B 对照实验改用 veRL 配合 Ray、KubeRay 与 vLLM，全部微调采用 LoRA。 AWS 说明这是内部实验，公开代码库尚未发布。教程还提示，为避免持续计费，需先删除工作负载资源，再删除底层基础设施。
AI 根据报道生成 · 50 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- AWS Machine Learning Blog在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 做微调，可显著改善其多语言推理能力：该开源权重推理模型原本只在 50 例多语言推理测试中以正确目标语言推理 22% 的时间（英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%）。实验使用 HuggingFaceH4/Multilingual-Thinking 数据集（约 949 条训练、50 条验证样本），对比了 SFT 与 GRPO 两种方案，结论是 SFT 承担主要工作、GRPO 在存在提升空间时进一步优化，技术选择需匹配模型的能力缺口。训练栈基于 Amazon EKS 编排，GPT-OSS-20B 使用 PyTorch TRL，Qwen2.5-7B 对照实验改用 veRL 配合 Ray、KubeRay 与 vLLM，全部微调采用 LoRA。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。