Neon AI Gateway 上的开放权重模型为什么快：Databricks 推理栈解析

Neon AI Gateway 通过 Databricks Foundation Model APIs 调用开放权重模型，Databricks 首次在 gpt-oss 生产批推理中上线 prompt caching 时，单副本输入 token 吞吐提升 2.5×、P50 延迟降低 3×，缓存命中率约 30%。