跳到正文
6月28日周二
5月2日周一
  1. Hugging Face Blog62

    用 Accelerate 不改代码跑 PyTorch FSDP,在 2 张 24GB 卡上训练 GPT-2 XL

    Hugging Face 介绍如何用 Accelerate 在不改代码的情况下启用 PyTorch FullyShardedDataParallel(FSDP),在 2 张 24GB NVIDIA Titan RTX 上对 GPT-2 Large(762M)和 GPT-2 XL(1.5B)做因果语言建模训练。

    推荐理由:用 Accelerate 不改代码就能跑 PyTorch FSDP,显存不够的可以照表选分片与 CPU offload 配置。

4月28日周四