DeepSeek 这个速度是在 Prefill-Decode 分离 + 大规模专家并行的条件下才能实现。就是说需要大量的机器才可以，单台机器就很难达到这个速度。H100 单机 NVIDIA 给的输出 tokens 应该是 800多。考虑prefill 我们就算成 1K（很粗糙哈）而DeepSeek H800 单机 decode 平均

发布时间: 2025-03-01 19:51:12

1分

数据加载中

关注推特

收听电报

2

1

0

DeepSeek 这个速度是在 Prefill-Decode 分离 + 大规模专家并行的条件下才能实现。
就是说需要大量的机器才可以，单台机器就很难达到这个速度。
H100 单机 NVIDIA 给的输出 tokens 应该是 800多。考虑prefill 我们就算成 1K（很粗糙哈）
而DeepSeek H800 单机 decode 平均
时政
( twitter.com )

12天前由九原客提交

DeepSeek 这个速度是在 Prefill-Decode 分离 + 大规模专家并行的条件下才能实现。

就是说需要大量的机器才可以，单台机器就很难达到这个速度。

H100 单机 NVIDIA 给的输出 tokens 应该是 800多。考虑prefill 我们就算成 1K（很粗糙哈）

而DeepSeek H800 单机 decode 平均 15K。分布式和极致优化直接让性能提升了 15倍。

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

解释下这个库能干嘛: DeepSeek一项重大进步是使用FP8精度进行训练。训练的本质其实是矩阵乘法。默认大家都使用NVIDIA CUDA库中提供的矩阵乘法。DeepSeek这个库在最优情况可以将矩阵乘法性能提升2.7x. 可以加速训练速度. 另外在早些年一些商用BLAS库(Basic Linear Algebra
时政
( twitter.com)

16天前 • karminski-牙医 • -- 点击 0 评论

2

2

1

1

这是 DeepSeek 公布的价格对比数据，价格实惠。而且目前速度仍然比较快 #AI
IT技术
( twitter.com)

10个月前 • Jintao Zhang • -- 点击 0 评论

3

2

1

1

🔥 满血高速能联网 DeepSeek R1 API 获取教程
试了下火山引擎的 DeepSeek R1 API，目前测试下来是最稳定、最快速的方案
推理思考的速度、生成输出token的速度都非常流畅
我申请了个在本地客户端上进行了测试，视频是1倍速度，你们可以感受下。
是我用下来最快的了！而且还能联网。
时政
( twitter.com)

28天前 • 小互 • -- 点击 • 下载视频 0 评论

00:02:07

4

2

1

1

有用户反映，询问DeepSeek属于哪个openai模型。开启深度思考R1模式后，DeepSeek回答自己是基于GPT-3.5的增强版模型即GPT3.5turbo
时政
( twitter.com)

1个月前 • 李老师不是你老师 • -- 点击 0 评论

5

2

1

1

看了下DeepSeek论文，做了点笔记和思考
DeepSeek降低训练成本会不会让算力需求下降？看历史就知道了，GPT4级别token价格在一年半之内降低了100~1000倍，也没有类似的担忧(如图)
AI算力通缩是必然现象，长线旋律就是十年加速六个数量级：软件/算法加速三个数量级，硬件加速三个数量级
IT技术
( twitter.com)

1个月前 • fin • -- 点击 0 评论

6

2

1

1

果然如我之前所料，Deepseek v3这一次模型更大、速度更快之后，价格也涨价了。从原来的输入输出1/2人民币，变成现在2/8元，综合涨价幅度在2.6倍。不过提供了一个45天的显示优惠期，还按照老价格。
这一次模型总参数从236B上升到671B，速度从20 token每秒变60 tps，谁都不是永动机，该涨价还得涨。
时政
( twitter.com)

2个月前 • 高级分析师 • -- 点击 0 评论

7

2

1

1

速报，寄了嗷，NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。
如果信了老黄的说法，用这个跑200B的大模型，一分钟也就能吐出来2句话。
时政
( twitter.com)

1个月前 • karminski-牙医 • -- 点击 0 评论

8

2

1

1

这几天刷推很明显的感觉到英文技术社区对中国AI产业的进步速度处于一种半震动半懵逼的状态，应激来源主要是两个，一个是宇树（Unitree）的轮足式机器狗B2-W，另一个是开源MoE模型DeepSeek-V3。
时政
( twitter.com)

2个月前 • 阑夕 • -- 点击 0 评论

9

4

3

3

世纪骗局 #DeepSeek 这些视频被秒删，更是佐证了这是个骗局。
时政
( twitter.com)

1个月前 • 正視歷史▪️傳播真相🇺🇸 • -- 点击 • 下载视频 0 评论

00:04:29

0.07808 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: admin@bad.news

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特