Hugging Face 上超 13 万个模型可用 ONNX Runtime 加速

Hugging Face 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，ONNX Runtime 共支持 90 多个 Hugging Face 模型架构，涵盖 BERT、GPT2、T5、Whisper 等 11 个最热门架构。以 whisper-tiny 为例，用 ONNX Runtime 加速后单次推理平均延迟相比 PyTorch 最高提升 74.30%。