跳到正文
原文
Hugging Face Blog·· 20 天前精选AI 评分63

HF Jobs 上用 LoRA 实现异步 GRPO 训练:一个存储桶、一个代理、无需 NCCL

Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL

AI 导读

TRL v1.14 的 AsyncGRPOTrainer 新增 LoRA 适配器仅同步功能,结合 HF Jobs Storage Bucket 挂载,使训练与推理可运行在独立机器上,无需 NCCL。五次实验将 500 步训练从 3h27m 优化至 53min,通过 token 预算批处理和提升并发请求数将瓶颈从训练端转移到生成端。

推荐理由

通过LoRA适配器仅同步加存储桶挂载,训练与推理可部署在独立HF Jobs上无需NCCL,五次实验将500步训练从3小时27分压缩至53分钟。

来源:Hugging Face Blog · huggingface.co