DeepSeek 用黑科技完成了fp8训练，取得了举世瞩目的效果结果今天，微软突然公布了自己在fp4上的训练成果要知道，fp4比fp8还要节省一半其实DeepSeek的DualPipe 本来就是和微软的ZeRO框架合作的有这样的成果，并不意外不过美中不足的是，

发布时间: 2025-01-29 17:40:06

1分

数据加载中

DeepSeek 用黑科技完成了fp8训练，取得了举世瞩目的效果
结果今天，微软突然公布了自己在fp4上的训练成果
要知道，fp4比fp8还要节省一半
其实DeepSeek的DualPipe 本来就是和微软的ZeRO框架合作的
有这样的成果，并不意外
不过美中不足的是，
时政
( twitter.com )

DeepSeek 用黑科技完成了fp8训练，取得了举世瞩目的效果

结果今天，微软突然公布了自己在fp4上的训练成果

要知道，fp4比fp8还要节省一半

其实DeepSeek的DualPipe 本来就是和微软的ZeRO框架合作的

有这样的成果，并不意外

不过美中不足的是，

这个技术仅在13B大小的模型上获得成功，还是不如DeepSeek的670B

美国，依然是那个永远成功的，科技大国！

ALL IN NVDA, ALL IN MSFT

Not Financial Advice

严肃讨论请参考日报，或者入群

点击图片查看原图

Markdown支持

评论加载中...

您可能感兴趣的：更多

这个事情其实不难解释，我在2天前的DeepSeek论文分析报告中也已经总结，很多疑惑看过paper就有答案。
V3的低成本算力提升主要有三个因素
1）fp8 的低精度浮点数训练，之前有人尝试过fp8的低精度训练，但都失败了。deepseek靠着顶尖数学竞赛生，硬是把它调了出来
2) MoE,
时政
( twitter.com)

昨天 • 勃勃OC • -- 点击 0 评论

很多人担心DeepSeek的低成本训练会冲击显卡市场，但我认为其实是利好
首先一个误区是其他厂商模仿DeepSeek就不需要那么多卡了。
其实DeepSeek-R1的低成本训练方法是可以scaling的。也就是说用更多卡，理论上效果只会更好。他本质上是一种improvement of scaling
时政
( twitter.com)

3天前 • JundeWu • -- 点击 0 评论

DeepSeek R1的论文非常值得仔细看，粗略扫了下，他们只用了GRPO+Reward Model在线RL就可以就训练出思考模型。而且很诚实的把PRM、MCTS放到失败尝试中。
同时这也证明领域级思考模型的训练目前的技术完全可以复现，只需要想办法合成对应的cot训练数据。
时政
( twitter.com)

9天前 • 九原客 • -- 点击 0 评论

特朗普的AI沙皇：DeepSeek的AI模型是用蒸馏技术跟ChatGPT学习的—— 《华尔街日报》美国总统特朗普的AI沙皇戴维·萨克斯周二表示，中国人工智能公司DeepSeek用OpenAI的内容训练出了风靡全球的新模型。
时政
( twitter.com)

昨天 • 李老师不是你老师 • -- 点击 0 评论

时政

时政

时政

时政

特朗普的AI沙皇：DeepSeek的AI模型是用蒸馏技术跟ChatGPT学习的—— 《华尔街日报》美国总统特朗普的AI沙皇戴维·萨克斯周二表示，中国人工智能公司DeepSeek用OpenAI的内容训练出了风靡全球的新模型。
时政
( twitter.com)

时政

DeepSeek有没有使用OpenAI的专有模型来训练自己的模型？你怎么看？
时政
( twitter.com)

时政

等了好久，終於看到 Elon Musk 對 DeepSeek 的評論：Deepseek能用較少資源達到如此成就表示懷疑。
时政
( twitter.com)

时政

完了完了，deepseek，这下真的deep了🤣🤣🤣
时政
( twitter.com)

时政

总结一下DeepSeek讨论的初步结果，DeepSeek的贡献主要有两个：
一是基础模型的预训练，二是利用无监督的增强学习(RL）提高推理能力
时政
( twitter.com)

时政

啥玩意？DeepLeak？DeepSeek敏感数据全部暴露
难怪600万能训练完，确实在其他地方没怎么花钱。。。
时政
( twitter.com)

时政

时政

时政

时政

时政

特朗普的AI沙皇：DeepSeek的AI模型是用蒸馏技术跟ChatGPT学习的—— 《华尔街日报》 美国总统特朗普的AI沙皇戴维·萨克斯周二表示，中国人工智能公司DeepSeek用OpenAI的内容训练出了风靡全球的新模型。 时政 ( twitter.com)

时政

DeepSeek有没有使用OpenAI的专有模型来训练自己的模型？你怎么看？ 时政 ( twitter.com)

时政

等了好久，終於看到 Elon Musk 對 DeepSeek 的評論：Deepseek能用較少資源達到如此成就表示懷疑。 时政 ( twitter.com)

时政

完了完了，deepseek，这下真的deep了🤣🤣🤣 时政 ( twitter.com)

时政

总结一下DeepSeek讨论的初步结果，DeepSeek的贡献主要有两个： 一是基础模型的预训练，二是利用无监督的增强学习(RL）提高推理能力 时政 ( twitter.com)

时政

啥玩意？DeepLeak？DeepSeek敏感数据全部暴露 难怪600万能训练完，确实在其他地方没怎么花钱。。。 时政 ( twitter.com)

时政

创建一个新帐户

登录

特朗普的AI沙皇：DeepSeek的AI模型是用蒸馏技术跟ChatGPT学习的—— 《华尔街日报》美国总统特朗普的AI沙皇戴维·萨克斯周二表示，中国人工智能公司DeepSeek用OpenAI的内容训练出了风靡全球的新模型。
时政
( twitter.com)

DeepSeek有没有使用OpenAI的专有模型来训练自己的模型？你怎么看？
时政
( twitter.com)

等了好久，終於看到 Elon Musk 對 DeepSeek 的評論：Deepseek能用較少資源達到如此成就表示懷疑。
时政
( twitter.com)

完了完了，deepseek，这下真的deep了🤣🤣🤣
时政
( twitter.com)

总结一下DeepSeek讨论的初步结果，DeepSeek的贡献主要有两个：
一是基础模型的预训练，二是利用无监督的增强学习(RL）提高推理能力
时政
( twitter.com)

啥玩意？DeepLeak？DeepSeek敏感数据全部暴露
难怪600万能训练完，确实在其他地方没怎么花钱。。。
时政
( twitter.com)