跳到正文
原文
Hacker News 前页· kmavm·· 22 天前AI 评分38

跑 1M/B/T tokens 需要多少块 GPU:一个 H100 估算计算器

How many GPUs is 1M/B/T tokens?

AI 导读

一个计算器给出估算:在 Llama 3.3 70B 上一个月(30 天)跑 1 万亿 token,约需 367 块 H100,合理区间为 211 到 853 块,即 46 个 8 卡 H100 节点。该结果基于 50% 利用率、每块 H100 每秒 1,000 token 等假设,作者提示实测预设误差约 2 倍,建议先在自己的硬件上实测再采购。

来源:Hacker News 前页 · cedana.com