Hugging Face Blog·· 2022-05-02精选AI 评分62
用 Accelerate 不改代码跑 PyTorch FSDP，在 2 张 24GB 卡上训练 GPT-2 XL
Accelerate Large Model Training using PyTorch Fully Sharded Data Parallel
AI 导读
Hugging Face 介绍如何用 Accelerate 在不改代码的情况下启用 PyTorch FullyShardedDataParallel（FSDP），在 2 张 24GB NVIDIA Titan RTX 上对 GPT-2 Large（762M）和 GPT-2 XL（1.5B）做因果语言建模训练。
推荐理由
用 Accelerate 不改代码就能跑 PyTorch FSDP，显存不够的可以照表选分片与 CPU offload 配置。
来源：Hugging Face Blog · huggingface.co