速报，寄了嗷，NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。如果信了老黄的说法，用这个跑200B的大模型，一分钟也就能吐出来2句话。

发布时间: 2025-01-27 05:50:15

1分

数据加载中

关注推特

收听电报

速报，寄了嗷，NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。
如果信了老黄的说法，用这个跑200B的大模型，一分钟也就能吐出来2句话。
时政
( twitter.com )

15小时前由 karminski-牙医提交

点击图片查看原图

Markdown支持

评论加载中...

您可能感兴趣的：更多

转译：Nvidia 的迅速崛起同时也让它成为众矢之的
在 AI 热潮中，连 Nvidia 自己的客户也想分一杯羹
黄仁勋常说，他不做长远打算。他之所以不戴手表，是因为他认为“当下最为重要”。
对 Nvidia CEO黄仁勋来说，这是一个充满巨大成就与不小挑战的时刻。
在一场 AI 驱动的商业盛宴后，Nvidia…
IT技术
( twitter.com)

11个月前 • 宝玉 • -- 点击 0 评论

BREAKING: Nvidia after-hours gains now at over 13%
时政
( twitter.com)

11个月前 • The Spectator Index • -- 点击 0 评论

NEW: #Bitcoin and Nvidia compared to gold 👀😮
时政
( twitter.com)

10个月前 • Bitcoin News • -- 点击 • 下载视频 0 评论

00:01:44

Jensen Huang, Nvidia CEO, on the importance of intellectual honesty
时政
( twitter.com)

11个月前 • Vala Afshar • -- 点击 • 下载视频 0 评论

00:01:45

NVIDIA发布一个可以运行在PC上本地模型：Chat With RTX
该模型可以与你自己的内容（文档、笔记、视频或其他数据）相连接，
利用检索增强生成（RAG）、TensorRT-LLM和RTX加速技术，用户可以个性化地创建一个聊天机器人。
快速获得上下文相关的答案。所有操作均在用户本地完成！
它专为搭载NVIDIA…
IT技术
( twitter.com)

11个月前 • 小互 • -- 点击 • 下载视频 0 评论

00:01:05

Nvidia CEO delivers a masterclass on how to improve organizational alignment
时政
( twitter.com)

10个月前 • Vala Afshar • -- 点击 • 下载视频 0 评论

00:01:08

NVIDIA market value
One year ago: $0.53 trillion
Now: $1.79 trillion
时政
( twitter.com)

11个月前 • The Spectator Index • -- 点击 0 评论

NVIDIA market value
One year ago: $0.58 trillion
Now: $1.97 trillion
时政
( twitter.com)

11个月前 • The Spectator Index • -- 点击 0 评论

NVIDIA market value
One year ago: $0.57 trillion
Now: $2.19 trillion
时政
( twitter.com)

10个月前 • The Spectator Index • -- 点击 0 评论

时政

IT技术

BREAKING: Nvidia after-hours gains now at over 13% 时政 ( twitter.com)

时政

NEW: #Bitcoin and Nvidia compared to gold 👀😮 时政 ( twitter.com)

时政

Jensen Huang, Nvidia CEO, on the importance of intellectual honesty 时政 ( twitter.com)

时政

IT技术

Nvidia CEO delivers a masterclass on how to improve organizational alignment 时政 ( twitter.com)

时政

NVIDIA market value One year ago: $0.53 trillion Now: $1.79 trillion 时政 ( twitter.com)

时政

NVIDIA market value One year ago: $0.58 trillion Now: $1.97 trillion 时政 ( twitter.com)

时政

NVIDIA market value One year ago: $0.57 trillion Now: $2.19 trillion 时政 ( twitter.com)

时政

创建一个新帐户

登录

BREAKING: Nvidia after-hours gains now at over 13%
时政
( twitter.com)

NEW: #Bitcoin and Nvidia compared to gold 👀😮
时政
( twitter.com)

Jensen Huang, Nvidia CEO, on the importance of intellectual honesty
时政
( twitter.com)

Nvidia CEO delivers a masterclass on how to improve organizational alignment
时政
( twitter.com)

NVIDIA market value
One year ago: $0.53 trillion
Now: $1.79 trillion
时政
( twitter.com)

NVIDIA market value
One year ago: $0.58 trillion
Now: $1.97 trillion
时政
( twitter.com)

NVIDIA market value
One year ago: $0.57 trillion
Now: $2.19 trillion
时政
( twitter.com)