热点事件历史事件
跑 1M/B/T tokens 需要多少块 GPU：一个 H100 估算计算器
1 篇报道1 个报道来源22 天前更新
先了解这件事
报道摘要
一个计算器给出估算：在 Llama 3.3 70B 上一个月（30 天）跑 1 万亿 token，约需 367 块 H100，合理区间为 211 到 853 块，即 46 个 8 卡 H100 节点。该结果基于 50% 利用率、每块 H100 每秒 1,000 token 等假设，作者提示实测预设误差约 2 倍，建议先在自己的硬件上实测再采购。
摘自 Hacker News 前页
报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- Hacker News 前页跑 1M/B/T tokens 需要多少块 GPU：一个 H100 估算计算器
一个计算器给出估算：在 Llama 3.3 70B 上一个月（30 天）跑 1 万亿 token，约需 367 块 H100，合理区间为 211 到 853 块，即 46 个 8 卡 H100 节点。该结果基于 50% 利用率、每块 H100 每秒 1,000 token 等假设，作者提示实测预设误差约 2 倍，建议先在自己的硬件上实测再采购。