Hugging Face 详解连续批处理中的异步调度：如何让 GPU 利用率提升 24%

Hugging Face 发布技术博客，讲解如何在连续批处理中分离 CPU 与 GPU 工作负载以实现异步批处理。同步批处理下 CPU 与 GPU 轮流工作，实测用 8B 模型、batch size 32 生成 8K token 耗时 300.6 秒，其中 24.0% 的时间 GPU 处于空闲等待 CPU 的状态。