Hugging Face 在 nanoVLM 中从零实现 KV Cache，生成速度提升 38%

Hugging Face 在 nanoVLM 仓库中从零实现了 KV Cache，让生成速度提升 38%。nanoVLM 是一个用纯 PyTorch 训练自建视觉语言模型的精简代码库，KV Cache 在 Attention 块、语言模型和生成循环三处启用，将逐 token 生成从全序列重算改为增量更新。相关经验可推广到所有自回归语言模型的生成场景。