Hugging Face Blog·· 2025-06-03精选AI 评分62
TRL 支持 vLLM 同卡部署，GRPO 训练可省下闲置 GPU
No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL
AI 导读
TRL 在 v0.18.0 起支持 vLLM 的 colocate 模式，训练与推理共用同一批 GPU、走同一个分布式进程组，不再需要单独的 vLLM 服务器进程和专用 GPU。
推荐理由
TRL 新增 vLLM 同卡部署模式，跑 GRPO 训练的可把推理与训练放同一批 GPU，省下闲置卡。
来源：Hugging Face Blog · huggingface.co