AWS 发布 Ray Train DLC 在 EKS 上分布式训练教程
先了解这件事
AWS 发布 Ray Train Deep Learning Container(DLC),并给出在 EKS 上用它做多节点 PyTorch 分布式训练的示例教程。该镜像打包 Ray 2.58.0(含 Train、Tune、Data)、PyTorch 2.13.0、torchvision 0.28.0、CUDA 13.0.2、NCCL 2.29.7,以及 EFA 与 AWS OFI NCCL 插件,以公开标签 public.ecr.aws/deep-learning-containers/ray:train-ml-cuda-v1.1 发布在 Amazon ECR Public,节点无需凭证即可拉取,无需自行构建或推送镜像。 教程演示用该镜像按发布原样微调 Qwen2.5-1.5B,采用 PyTorch FSDP,在两台 g6.12xlarge 实例的 8 块 NVIDIA L4 GPU 上跨节点运行。 按教程运行需满足:两台 g6.12xlarge 所需的 96 vCPU G 系列按需配额,且所在 AWS 区域至少有一个可用区提供该实例;GPU 实例运行期间每小时约 9.50 美元,涵盖两台实例、EKS 控制面和 NAT Gateway。教程中的 deploy_all.sh 默认不启动训练任务。
AI 根据报道生成 · 54 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- AWS Machine Learning Blog在 EKS 上用 Ray Train DLC 与 EFA 做分布式训练
AWS 发布 Ray Train Deep Learning Container(DLC),让 PyTorch 分布式训练无需自行构建镜像即可在 EKS 上跨节点扩展。该镜像打包 Ray 2.58.0(含 Train、Tune、Data)、PyTorch 2.13.0、torchvision 0.28.0、CUDA 13.0.2、NCCL 2.29.7,以及 EFA 与 AWS OFI NCCL 插件,并以公开标签 public.ecr.aws/deep-learning-containers/ray:train-ml-cuda-v1.1 发布在 Amazon ECR Public,节点无需凭证即可拉取。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。