贾扬清对Groq进行成本分析：
东西是好东西，就是太贵了！
硬件是40倍成本，电费是10倍成本
1、购买硬件：572张卡2万美元/卡=1144万美元
2、每年电费：57218520012=25.4万美元
3、同等性能的H卡：硬件：30万美元，电费：2.4万美元
以下是正文：
可能是拥有 @GroqInc 硬件来运行 Llama2-70b 的第一个运营成本分析。
首先，我要说我是 Groq 的忠实粉丝。出色的表现，巨大的潜力。下面只是展示了与行业领先者竞争时可能面临的挑战，但考虑到时间，我对此充满期待。
- 每张 Groq 卡的内存为 230MB。对于LLaMA 70b模型，假设int8量化并完全忽略推理的内存消耗，最少需要305张卡。实际上，需要更多，报告显示572张卡，所以我们将根据572张卡进行计算。
- 每张 Groq 卡的价格为 20,000 美元，因此，购买 572 张卡的成本为 1144 万美元。当然，由于销售策略和规模效益，每张卡的价格可能会低很多，但我们现在用标价来计算。
3、572块卡，每卡平均功耗185W，不含外设总功耗105.8kW。 （注，实际消耗会更高）
- 目前，数据中心每月每千瓦的平均价格约为200美元，这意味着每年的电费为105.8 200 12 = 254,000美元。
- 基本上，使用4张H100卡可以实现Groq一半的性能，这意味着8张H100盒的性能与上述大致相当。 8卡H100标称最大功率为10kW（实际约为8-9kW），因此每年的电费为24,000美元或略低。
- 如今，8卡H100盒子的价格约为30万美元。
- 因此，如果运营三年，Groq 的硬件采购成本为 1144 万美元，运营成本为 762,000 美元。对于 8 卡 H100 盒子，硬件采购成本为 300,000 美元，运营成本为 72,000 美元或略低。
这些都是粗略的数字。以上是我的错误，请大家指出。
