用17K从DeepSeek R1 蒸馏的SFT数据，微调Qwen2.5-32B，效果非常不错。与DeepSeek R1自家蒸馏的版本相比略逊一些，但是后者是800k sample，而且这17k数据以及合成脚本完全开源。方法来自之前蒸馏QwQ的Sky-T1。 P.S. 7B的模型效果提升不佳，看来越小的模型需要越多的数据激活能力。 1/2

分享一个链接

发表一篇文章

任何有趣的，图片，热点新闻，视频，文字...

2595 位用户此时在线

24小时点击排行 Top 10：

2月7日，辽宁抚顺。一名军嫂实名举报，称遭到市监局公职人员李孝龙的性骚扰。在向纪委和公安举报后，李孝龙不仅未道歉还通过个人关系解决此事。 2月7日，河北。女子举报保定市一名局长婚内出轨，与自己保持不正当关系。他还威胁：就算告到中央都不会有事。

国母当年的风采，看着她我想起他的前妻：有性格的人不会嫁城府如此深的男人，即使看走眼嫁错了也会跑掉！

漫天無人機戰場你心裡想什麼朝鮮兵

“警校生的家人却被警察暴力维稳” 2月7日，广东广州，因一名广州警官学院学生坠楼，家长遭遇学校“和稀泥”式处理，无奈带孩子的遗像来到学校维权。随后警察到现场拉起屏风，并暴力驱离维权的家长

截至2月8日，

過去是嘴砲打倒美帝解放台灣，現在是親自在公車上和年輕人搶座。

真的这么多坑？

shit!

2月7日，男子问女儿：“日本人是好人还是坏人？” 女儿回答：“是好人” 男子听后随即重重地打了女儿两下。女儿还想解释，遭到训斥，被迫回答“日本人是坏人”

「青海大通：警察抓捕回族村民引发警民对峙（2025.01.31)]1月31日，农历新年初三，位于中国西部青海省的大通回族自治县新庄镇发生了一起地方警察与回族村民之间的对峙，起因是一场未经官方报备的乡村篮球赛。

支那豬馬英九的老鄉素質低劣啊 😄😄😄

Taiwanese. Hong Kongers. Uyghurs. Tibetans. Chinese dissidents. Cross-party MPs. Together against the 🇨🇳 mega embassy.

頓涅茨克地區擊落俄蘇-25戰機，俄羅斯在烏克蘭沒有制空權。

当地时间2月8日，大批民众聚集在伦敦铸造厂抗议中国新建大使馆。

川普政府在西雅图逮捕一个中国非法移民的画面。看他马甲，好像是在给亚马孙送货工作的时候被逮捕的。

🚨突发消息：本周五，民主党议员试图强行闯入教育部大楼🔥 一名保安坚定的站在教育部大楼正门前，对抗这些人的傲慢无礼，且寸步不让。这或许是对付这些疯狂的民主党人的正确方式——绝不妥协。

中国加入WTO的承诺，兑现了多少？

当穆斯林成为大多数占领公共空间，意味着女性的公共安全空间被压缩，没有任何女性会独自出现在公共场合。

有才网友模仿表演了“大同亮灯”的情景。

2月7日报道，网曝山东临沂，一婚姻登记处年后办理离婚的人排起了长队，排了近四百号，比办理结婚的人多出了几十倍。登记处工作人员回应称，因为都赶着把手续办完后外出务工，登记处8:30上班，有人早上8点就到门口排队了。

汽车博主的赛道越来越擦边，越来越卷了。

爭取萬物免費的垃圾老鼠

他们大把大把的挥洒着权力他们成批成批的浪费着金钱他们标榜干的是千秋伟业其实他们做事情的诱因，只是原始的那一股一股的欲望。要么为名，要么为利，要么为女人温家宝是最贪名的，他身上穿的这件棉大衣，曾被党内煽情吹捧过，搞得像是周总理的破毛衣。

这个视频是真的应景，真的合理啊！

Breaking Video! Women Being Arrested For Vandalizing American Flag, Suddenly Threatens To Kill Police Officers And Their Children. The Left's Minions Are Going Into A Psychotic Rage Over A Secure Southern Border. Watch Our LIVESTREAM Here:

本站自动实时分享网络热点
24小时实时更新
所有言论不代表本站态度
欢迎对信息踊跃评论评分
评分越高，信息越新，排列越靠前

2

1

0

用17K从DeepSeek R1 蒸馏的SFT数据，微调Qwen2.5-32B，效果非常不错。
与DeepSeek R1自家蒸馏的版本相比略逊一些，但是后者是800k sample，而且这17k数据以及合成脚本完全开源。
方法来自之前蒸馏QwQ的Sky-T1。
P.S. 7B的模型效果提升不佳，看来越小的模型需要越多的数据激活能力。
1/2
时政
( twitter.com )

16天前由九原客提交

点击图片查看原图

1周内 1个月内 1年内全部时间

1
2
3
4
5
6
...
400
下一页

1

2

1

1

别人犯错是因为没读paper，这位是能把paper读错
这是说蒸馏的目标小模型是qwen和llama，意思是把R1蒸馏到他们上面去，而不是从他们身上蒸馏下来
DeepSeek V3 用到的改进过的MoE，DeepSeek独创的MLA，n=1的MTP，这些llama都没有啊。当然他们都是transformer架构了。
时政
( twitter.com)

12天前 • 勃勃OC • -- 点击 0 评论

2

2

1

1

李老师讲课，什么是大模型的蒸馏(distillation)，以及我们应该如何看DeepSeek遭遇的“模型蒸馏”指控
时政
( twitter.com)

9天前 • Jeff Li • -- 点击 0 评论

3

4

3

3

为什么Deepseek在全球一夜名声大噪后变成名誉扫地？
从软件到硬件，都靠抄袭山寨。
DeepSeek使用“蒸馏”技术抄袭了
OpenAI的数据。你问DeepSeek问题，都是ChatGPT的数据库在回答你。这样确实成本低
时政
( twitter.com)

昨天 • 大雄的微笑 • -- 点击 0 评论

4

3

2

2

DeepSeek 剧情反转太快，美国总统川普的人工智能主管萨克斯（David Sacks）表示，有大量证据表明，DeepSeek依靠 “蒸馏”OpenAI
时政
( twitter.com)

9天前 • 蔡慎坤 • -- 点击 0 评论

5

4

3

3

转：关于 DeepSeek 的研究和思考 (Archerman Capital)
关于这几天很火的 DeepSeek, 我们 (Archerman Capital) 做了一些研究和思考, 和大家分享, enjoy! 灰色部分是技术细节, 不感兴趣的可略过。
几个事实
1) DeepSeek 不是套壳不是蒸馏美国的大模型。虽然中国有些大模型是套壳和蒸馏的, 但
IT技术
( twitter.com)

12天前 • 宝玉 • -- 点击 0 评论

6

2

1

1

最近，中国AI公司 Deepseek 的R1模型一经发布，就引起了全世界广泛的关注。
这件事引发了极大的震动，也似乎象征着中国正在突破过去几年来自美国的科技封锁。但是于此同时，非法蒸馏，言论审查，针对Deepseek的争议也越来越多。
时政
( twitter.com)

6天前 • 李老师不是你老师 • -- 点击 0 评论

7

2

1

1

AWS也支持DeepSeek R1了
IT技术
( twitter.com)

9天前 • 宝玉 • -- 点击 0 评论

8

3

2

2

DeepSeek R1 System Prompt:
You are DeepSeek-R1, an AI assistant created exclusively by the Chinese Company DeepSeek. You'll provide helpful, harmless, and detailed responses to all user inquiries. For comprehensive details about models and products, please refer to the official
IT技术
( twitter.com)

13天前 • 宝玉 • -- 点击 0 评论

9

2

1

1

蒸馏水对人体的作用非常重要❗️01
视频
( twitter.com)

2年前 • twitter机器人 • -- 点击 • 下载视频 0 评论

00:02:20

10

2

1

1

有人说DeepSeek R1 的 RL 范式也没啥创新，其实点不在这里。
o1出来后纷纷开始复刻，OpenAI 也不说怎么实现的，也不展示COT数据。所以说蒸馏o1纯属扯淡，OpenAI 防的死死的。
RL 论文上百篇方法几十种，最后 DeepSeek 肯定不是第一家试出来的（比如Google 的 gemini flash 2.0 thinking
时政
( twitter.com)

12天前 • 九原客 • -- 点击 0 评论

11

3

2

2

特朗普的AI沙皇：DeepSeek的AI模型是用蒸馏技术跟ChatGPT学习的—— 《华尔街日报》美国总统特朗普的AI沙皇戴维·萨克斯周二表示，中国人工智能公司DeepSeek用OpenAI的内容训练出了风靡全球的新模型。
时政
( twitter.com)

10天前 • 李老师不是你老师 • -- 点击 0 评论

12

2

1

1

这就是为什么 DeepSeek R1-Zero 其实在传统任务（如语言、助人性、无害性等）上表现不佳。
最终，他们需要使用一个基于 V3（甚至是 ChatGPT）生成的监督数据集结合多阶段强化学习（RL）来抵消这种效果。
因此，将 DeepSeek R1 称为完全无监督并不公平。
That's why DeepSeek R1-zero doesn't
时政
( twitter.com)

13天前 • 勃勃OC • -- 点击 0 评论

13

2

1

1

NVIDIA 将拥有 6710 亿参数的 DeepSeek-R1 模型引入了位于上的 NVIDIA NIM 微服务：
- 使用单台 NVIDIA HGX H200 服务器即可实现每秒最多 3,872 个 Token 的推理吞吐量。
- 依托 NVIDIA Hopper 架构，DeepSeek-R1 利用 FP8 Transformer Engine 和 900 GB/s 的 NVLink
IT技术
( build.nvidia.com)

8天前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:01:03

14

2

1

1

下图是一位墙内人士对DeepSeek的评论，其中提到的内控密码值得引起注意，因此我不打算安装使用deepseek r1。
时政
( twitter.com)

11天前 • 韩连潮 • -- 点击 0 评论

15

3

2

2

蒸馏技术是什么鬼！
时政
( twitter.com)

9天前 • Ignatius Lee • -- 点击 0 评论

16

2

1

1

蒸馏水应该不能“放生”。
有趣
( twitter.com)

1年前 • 出埃及记 • -- 点击 0 评论

17

2

1

1

今天硅基流动的 API 总算是上线了，这是目前为数不多的稳定、高速、满血版的 DeepSeek R1 API。
但是 R1 很特别，如果不配置好的话，R1 的效果会大打折扣，甚至会直接跳过思考过程。
所以写篇教程跟大家分享心得，避免大家踩坑。
《DeepSeek R1 API 获取和使用指南》
IT技术
( mp.weixin.qq.com)

7天前 • orange.ai • -- 点击 0 评论

18

2

1

1

有用户反映，询问DeepSeek属于哪个openai模型。开启深度思考R1模式后，DeepSeek回答自己是基于GPT-3.5的增强版模型即GPT3.5turbo
时政
( twitter.com)

9天前 • 李老师不是你老师 • -- 点击 0 评论

19

2

1

1

酒厂倒闭后，蒸馏器的命运是什么？
大陆资讯
( www.gcores.com)

3年前 • 机核网 • -- 点击 0 评论

20

2

1

1

所以，o3-mini的综合评分已超过DeepSeek-R1？
持续时间不到一周？
时政
( twitter.com)

7天前 • 勃勃OC • -- 点击 0 评论

21

2

1

1

白开水、纯净水、矿泉水和蒸馏水哪个最适合做长期饮用水？
大陆资讯
( www.zhihu.com)

5年前 • 知乎每日精选 • -- 点击 0 评论

22

2

1

1

Cursor 已经可以将 Deepseek v3 和 R1 加入了官方模型列表。
可以在设置-模型部分选择，R1 是完全体模型。
IT技术
( twitter.com)

9天前 • 歸藏(guizang.ai) • -- 点击 0 评论

23

2

1

1

如何从 ChatGPT 蒸馏出小模型，现在很多国内的所谓垂直大模型貌似都在这么干。

IT技术
( www.zhihu.com)

1年前 • 响马 • -- 点击 0 评论

24

4

3

3

非常赞同 Elvis 的观点：
我们应该回归 DeepSeek-R1 的学术和 AI 应用，从研究者的角度看到强化学习的价值，从开发者的角度看到更强的模型能力和本地模型场景。
时政
( twitter.com)

12天前 • meng shao • -- 点击 0 评论

1
2
3
4
5
6
...
400
下一页

0.077 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: admin@bad.news

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特