DeepSeek 用黑科技完成了fp8训练，取得了举世瞩目的效果结果今天，微软突然公布了自己在fp4上的训练成果要知道，fp4比fp8还要节省一半其实DeepSeek的DualPipe 本来就是和微软的ZeRO框架合作的有这样的成果，并不意外不过美中不足的是，

分享一个链接

发表一篇文章

任何有趣的，图片，热点新闻，视频，文字...

1904 位用户此时在线

24小时点击排行 Top 10：

我艹真的假的🫠 这消息听起来比赫尔松沦陷还让我感到悲伤，这里曾有我年轻时的辉煌。哎😑 我的北京只能留在记忆里了…… 天坛、颐和园还在么？还是曾经的样子么？

3月23日，四川广安。网传武胜县美团外卖员就薪资待遇问题集体罢工。

10后们谈80后父母长辈：“他们的思想就是老一辈思想，很封建的那种”“家里人把我们的未来都安排好了，但我不想这样做，内心会反抗”“他是把他们没有完成的梦想寄托在我们的身上”

2024年11月29日，官媒报道称赵昭养牛的数量为2800多头；但今年两会，赵昭又称：“饲养肉牛4000头” 短短四个月，养殖牛的数量便扩大到4000头....

本週，俄羅斯向烏克蘭人發射了 1,580 多次KAB炸彈、近 1,100 架攻擊無人機和 15 枚各類導彈，所有這些武器都含有至少 102,000 個外國零部件—澤倫斯基

3月22日广西。村民们为了保住土地，纷纷向面前的执法者下跪磕头求情。 3月22日，残疾人在户外表演遭到保安阻拦，残疾人向保安下跪说到：“你们要不要把我们一家人逼死”

3月22日(发布) 四川银山镇。一辆执法车和一辆私家车堵住一辆大货车，大货车司机手持铁锤先是砸烂私家车的玻璃，后又试图攻击交管，把交管吓到抱头鼠窜。

深圳市福桥高级中学学生投稿：

3月22日，杭州。一名女子去试药，她称因试药名额有限，甚至有人凌晨三点多就开始排队，光是试药的不良反映就占了满满的三页纸。一名参加试药的大哥称，因经常试药导致身体体检过不了，不得不提前吃一些抗压药物，才能去参加下一次试药。大哥还表示：“现在大环境这么差，我也没技术，活一天算一天”

3月21日，四川巴中。南江县下两镇，逃犯驾驶黑色轿车不顾警方人员的砸车和阻拦，强行冲卡后逃走。

3月23日，浙江绍兴。大唐街道大润发超市门外发生一起持刀伤人恶性事件，视频显示，多名男子浑身是血倒地不起。当地网友称：“随机连杀四个”

美国纽约一高中篮球教练因比赛失利，拿女队员出气拽马尾辫而被解雇。

WTF-bed

自由派性幻想里的乌托邦影像：

人民解放軍到底是不是人民的軍隊⁉️ 在8964中牠們給出了答案👇 北京市民攔軍車😢

https://t.co/LOXcm54x9X

人民的眼睛是雪亮的，终于揭穿了赵昭团伙骗取了4000头牛的国家补贴。

石破茂出席日本防卫大学毕业典礼训示：乌克兰警示我们要强化威慑！

烏克蘭110旅「中国籍國際軍」在前線作戰

萊茵金屬公司送來的的 MAN 油罐牽引車。

每个国家都有网络垃圾。反华日本人把日本人踢鹿的视频四处传播，说要把中国人赶出日本。

中國僱傭軍演示扔手雷他手裡拿的叫手動碎片RGN攻擊型手榴彈，還有一種彈體帶碎片狀是RGO防禦型，白色的頭部是防震點火器UDZ的保險絲，一盒10枚，重310克，殺傷90個平方左右，保險與彈體是分開的，小名叫小菠蘿。

法律人李庄曝料：晋州人民法院开庭，特意安排法院人员冒充旁听人员“抢占”为数不多的旁听席位，之后再告诉家属座位有限，仅能给3个名额，以此达到限制旁听人数的目的。而法律规定，在座位有限的情况下，应该优先安排近亲属。现场律师表示：这是公开审判，不涉及国家机密，你们有什么见不得人的事。

3月21日，上海(发布ip) 一名女子称，父亲在一艘远洋渔船上做船长，原本预计六月份回家参加自己的婚礼，结果近日父亲被一名船员捅刺多刀，随后船员又将父亲从二楼扔到一楼甲板，最后再抛进大海。女子表示，她不知道父亲被船员扔进海里的时候是否还活着。目前警方已立案，该船员已被控制。

乌克兰战地记者安德烈·察普连科：加入乌克兰第110国土防卫旅作战的中国人。他们自愿选择了光明的一面，现在捍卫乌克兰的自由和独立。与此同时，他们知道，相当一部分同胞之所以站在俄罗斯一边与他们作战，并不是因为理念，而是为了金钱。

本站自动实时分享网络热点
24小时实时更新
所有言论不代表本站态度
欢迎对信息踊跃评论评分
评分越高，信息越新，排列越靠前

2

1

0

DeepSeek 用黑科技完成了fp8训练，取得了举世瞩目的效果
结果今天，微软突然公布了自己在fp4上的训练成果
要知道，fp4比fp8还要节省一半
其实DeepSeek的DualPipe 本来就是和微软的ZeRO框架合作的
有这样的成果，并不意外
不过美中不足的是，
时政
( twitter.com )

1个月前由勃勃OC 提交

DeepSeek 用黑科技完成了fp8训练，取得了举世瞩目的效果

结果今天，微软突然公布了自己在fp4上的训练成果

要知道，fp4比fp8还要节省一半

其实DeepSeek的DualPipe 本来就是和微软的ZeRO框架合作的

有这样的成果，并不意外

不过美中不足的是，

这个技术仅在13B大小的模型上获得成功，还是不如DeepSeek的670B

美国，依然是那个永远成功的，科技大国！

ALL IN NVDA, ALL IN MSFT

Not Financial Advice

严肃讨论请参考日报，或者入群

点击图片查看原图

1周内 1个月内 1年内全部时间

1
2
3
4
5
6
...
400
下一页

1

2

1

1

这个事情其实不难解释，我在2天前的DeepSeek论文分析报告中也已经总结，很多疑惑看过paper就有答案。
V3的低成本算力提升主要有三个因素
1）fp8 的低精度浮点数训练，之前有人尝试过fp8的低精度训练，但都失败了。deepseek靠着顶尖数学竞赛生，硬是把它调了出来
2) MoE,
时政
( twitter.com)

1个月前 • 勃勃OC • -- 点击 0 评论

2

2

1

1

解释下这个库能干嘛: DeepSeek一项重大进步是使用FP8精度进行训练。训练的本质其实是矩阵乘法。默认大家都使用NVIDIA CUDA库中提供的矩阵乘法。DeepSeek这个库在最优情况可以将矩阵乘法性能提升2.7x. 可以加速训练速度. 另外在早些年一些商用BLAS库(Basic Linear Algebra
时政
( twitter.com)

25天前 • karminski-牙医 • -- 点击 0 评论

3

2

1

1

晚上有机会坐下来细看DS公布的数据，再次被深深震惊了。
DeepSeek在线服务的运行数据
英文版本见公布的Github链接。
所有DeepSeek-V3/R1推理服务均在H800 GPU上运行，且推理精度与训练一致：
🔹 矩阵乘法和调度传输采用 FP8 格式（与训练对齐）。
🔹
时政
( twitter.com)

21天前 • Compute King • -- 点击 0 评论

4

2

1

1

NVIDIA 将拥有 6710 亿参数的 DeepSeek-R1 模型引入了位于上的 NVIDIA NIM 微服务：
- 使用单台 NVIDIA HGX H200 服务器即可实现每秒最多 3,872 个 Token 的推理吞吐量。
- 依托 NVIDIA Hopper 架构，DeepSeek-R1 利用 FP8 Transformer Engine 和 900 GB/s 的 NVLink
IT技术
( build.nvidia.com)

1个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:01:03

5

2

1

1

DeepSeek R1的论文非常值得仔细看，粗略扫了下，他们只用了GRPO+Reward Model在线RL就可以就训练出思考模型。而且很诚实的把PRM、MCTS放到失败尝试中。
同时这也证明领域级思考模型的训练目前的技术完全可以复现，只需要想办法合成对应的cot训练数据。
时政
( twitter.com)

2个月前 • 九原客 • -- 点击 0 评论

6

2

1

1

很多人担心DeepSeek的低成本训练会冲击显卡市场，但我认为其实是利好
首先一个误区是其他厂商模仿DeepSeek就不需要那么多卡了。
其实DeepSeek-R1的低成本训练方法是可以scaling的。也就是说用更多卡，理论上效果只会更好。他本质上是一种improvement of scaling
时政
( twitter.com)

1个月前 • JundeWu • -- 点击 0 评论

7

4

3

3

2月1日报道，DeepSeek遭到美、英、法等十国封杀。美国：商务部长提名人卢特尼严厉批评DeepSeek窃取美国技术，并誓言将阻止此类行为，甚至考虑征收关税。欧洲：英国科技大臣表示正在评估DeepSeek聊天机器人的安全性。意大利紧急下令限制DeepSeek取用意大利用户数据......
时政
( twitter.com)

1个月前 • 李老师不是你老师 • -- 点击 0 评论

8

3

2

2

特朗普的AI沙皇：DeepSeek的AI模型是用蒸馏技术跟ChatGPT学习的—— 《华尔街日报》美国总统特朗普的AI沙皇戴维·萨克斯周二表示，中国人工智能公司DeepSeek用OpenAI的内容训练出了风靡全球的新模型。
时政
( twitter.com)

1个月前 • 李老师不是你老师 • -- 点击 0 评论

9

5

4

4

为什么Deepseek在全球一夜名声大噪后变成名誉扫地？
从软件到硬件，都靠抄袭山寨。
DeepSeek使用“蒸馏”技术抄袭了
OpenAI的数据。你问DeepSeek问题，都是ChatGPT的数据库在回答你。这样确实成本低
时政
( twitter.com)

1个月前 • 大雄的微笑 • -- 点击 0 评论

10

2

1

1

科技部：禁用AIGC直接生成申报材料，不得将AIGC列为成果共同完成人
大陆资讯
( 36kr.com)

1年前 • 全球尸报 • -- 点击 0 评论

11

2

1

1

掌阅科技完成近1亿美元首轮融资将用于内容建设
大陆资讯
( www.keke289.com)

9年前 • 舔你妹 • -- 点击 0 评论

12

3

2

2

DeepSeek有没有使用OpenAI的专有模型来训练自己的模型？你怎么看？
时政
( twitter.com)

1个月前 • 中日政经评论 • -- 点击 0 评论

13

6

5

5

警察竞技类真人秀节目《警察特训营》第四季第六集，节目让四位训犬民警用5天时间各自训练哈士奇做到一些警犬需要完成的训练……
大陆资讯
( n.miaopai.com)

5年前 • 千鸡变 • -- 点击 0 评论

14

2

1

1

【十余项黑科技云集，小米 5 终于来了】@万能的大熊：小米5告诉我们，黑科技就是在黑色PPT上的科技。。//@性感玉米：在发烧友被毁成倔强穷屌之后，黑科技这个词也被我们小米毁了，仅代表我们米粉，向索尼道歉。//@凭栏衫薄：小米手机居然可以打电话，真是黑科技啊
大陆资讯
( www.ifanr.com)

9年前 • ifanr • -- 点击 0 评论

15

6

5

5

照相机前史：用于绘画的黑科技
大陆资讯
( www.huxiu.com)

6年前 • 虎嗅网 • -- 点击 0 评论

16

2

1

1

小米手机黑科技，保护用户IP隐私
时政
( twitter.com)

2年前 • twitter机器人 • -- 点击 0 评论

17

3

2

2

《银翼杀手2049》最全幕后解析：黑科技给了我黑色的眼睛，我却用它寻找大光明。（150张动/静图，您看完此文大概需要13秒钟）
大陆资讯
( mp.weixin.qq.com)

7年前 • 微信公众号 • -- 点击 0 评论

18

2

1

1

等了好久，終於看到 Elon Musk 對 DeepSeek 的評論：Deepseek能用較少資源達到如此成就表示懷疑。
时政
( twitter.com)

1个月前 • 大雄的微笑 • -- 点击 0 评论

19

2

1

1

索尼推出「黑科技」屏幕，看 3D 电影终于不用戴眼镜了
大陆资讯
( www.ifanr.com)

4年前 • ifanr • -- 点击 0 评论

20

2

1

1

完了完了，deepseek，这下真的deep了🤣🤣🤣
时政
( twitter.com)

1个月前 • 勃勃OC • -- 点击 0 评论

21

2

1

1

接着昨天的帖子，继续聊聊 Deepseek，特别是关于言论审查的部分～
DeepSeek 言论审查可能是中推对于其讨论最多的话题，粉红朋友可能认为言论审查没什么大不了的，毕竟 DeepSeek 是承载国运的科技产品 x，而部分反贼朋友则从言论审查的例子中完全否定 DeepSeek。不过在我看来，双方都有些偏颇……
时政
( twitter.com)

1个月前 • xROx • -- 点击 0 评论

22

2

1

1

啥玩意？DeepLeak？DeepSeek敏感数据全部暴露
难怪600万能训练完，确实在其他地方没怎么花钱。。。
时政
( twitter.com)

1个月前 • 勃勃OC • -- 点击 0 评论

23

2

1

1

微软手机最新黑科技：利用传感器“预知”用户行为
大陆资讯
( tech.qq.com)

8年前 • 粉身碎奶掌 • -- 点击 0 评论

24

2

1

1

苹果 WWDC 超全总结： iOS 14 巨好用，AirPods Pro 喜提黑科技，ARM Mac 来了
大陆资讯
( www.ifanr.com)

4年前 • ifanr • -- 点击 0 评论

1
2
3
4
5
6
...
400
下一页

0.09759 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: admin@bad.news

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特