李老师讲课，什么是大模型的蒸馏(distillation)，以及我们应该如何看DeepSeek遭遇的“模型蒸馏”指控

发布时间: 2025-01-31 00:10:29

1分

数据加载中

关注推特

收听电报

李老师讲课，什么是大模型的蒸馏(distillation)，以及我们应该如何看DeepSeek遭遇的“模型蒸馏”指控
时政
( twitter.com )

6小时前由 Jeff Li 提交

点击图片查看原图

Markdown支持

评论加载中...

您可能感兴趣的：更多

蒸馏技术是什么鬼！
时政
( twitter.com)

12小时前 • Ignatius Lee • -- 点击 0 评论

预训练23年底就死了，只是这两个月才埋
微调24年q1也死了，只是还没有被埋
更是发现有些名词从前沿传到创投圈就被异化了词义：
大模型做teacher model教作为student的小模型，有人把这个过程叫做蒸馏，是完全错误的
teacher student的模型范式和蒸馏没关系
蒸馏也不是简单的做数据再训练
weak to
时政
( twitter.com)

22天前 • Panda • -- 点击 0 评论

用17K从DeepSeek R1 蒸馏的SFT数据，微调Qwen2.5-32B，效果非常不错。
与DeepSeek R1自家蒸馏的版本相比略逊一些，但是后者是800k sample，而且这17k数据以及合成脚本完全开源。
方法来自之前蒸馏QwQ的Sky-T1。
P.S. 7B的模型效果提升不佳，看来越小的模型需要越多的数据激活能力。
1/2
时政
( twitter.com)

7天前 • 九原客 • -- 点击 0 评论

转：关于 DeepSeek 的研究和思考 (Archerman Capital)
关于这几天很火的 DeepSeek, 我们 (Archerman Capital) 做了一些研究和思考, 和大家分享, enjoy! 灰色部分是技术细节, 不感兴趣的可略过。
几个事实
1) DeepSeek 不是套壳不是蒸馏美国的大模型。虽然中国有些大模型是套壳和蒸馏的, 但
IT技术
( twitter.com)

3天前 • 宝玉 • -- 点击 0 评论

别人犯错是因为没读paper，这位是能把paper读错
这是说蒸馏的目标小模型是qwen和llama，意思是把R1蒸馏到他们上面去，而不是从他们身上蒸馏下来
DeepSeek V3 用到的改进过的MoE，DeepSeek独创的MLA，n=1的MTP，这些llama都没有啊。当然他们都是transformer架构了。
时政
( twitter.com)

3天前 • 勃勃OC • -- 点击 0 评论

Meta 昨晚除了 Llama3 之外还发布了他们在 Meta AI 中使用的图像生成蒸馏技术。
通过三步的推理就可以生成跟原始模型一样质量的图像。
此方法包括三大核心技术：
i）逆向蒸馏（Backward Distillation），此技术通过在模型自身的逆向路径上进行微调，以减少训练与推理间的差异；…
IT技术
( twitter.com)

9个月前 • 歸藏(guizang.ai) • -- 点击 0 评论

Open AI 开源了一个新的 Whisper turbo 模型。
这是 Large v3 模型的蒸馏模型
运行速度提升了8倍
显存 (VRAM) 使用效率提高了40%
准确度仅有微小降低
太猛了，在使用Whisper的服务可以替换了。
IT技术
( twitter.com)

4个月前 • 歸藏(guizang.ai) • -- 点击 0 评论

特朗普的AI沙皇：DeepSeek的AI模型是用蒸馏技术跟ChatGPT学习的—— 《华尔街日报》美国总统特朗普的AI沙皇戴维·萨克斯周二表示，中国人工智能公司DeepSeek用OpenAI的内容训练出了风靡全球的新模型。
时政
( twitter.com)

昨天 • 李老师不是你老师 • -- 点击 0 评论

马克龙讲课还真有模有样，他好像以前就想当老师，后来没当上
时政
( twitter.com)

9个月前 • 老多 • -- 点击 • 下载视频 0 评论

00:01:15

李老师讲课，什么是大模型的蒸馏(distillation)，以及我们应该如何看DeepSeek遭遇的“模型蒸馏”指控 时政 ( twitter.com )

时政

蒸馏技术是什么鬼！ 时政 ( twitter.com)

时政

时政

时政

IT技术

时政

IT技术

Open AI 开源了一个新的 Whisper turbo 模型。 这是 Large v3 模型的蒸馏模型 运行速度提升了8倍 显存 (VRAM) 使用效率提高了40% 准确度仅有微小降低 太猛了，在使用Whisper的服务可以替换了。 IT技术 ( twitter.com)

IT技术

特朗普的AI沙皇：DeepSeek的AI模型是用蒸馏技术跟ChatGPT学习的—— 《华尔街日报》 美国总统特朗普的AI沙皇戴维·萨克斯周二表示，中国人工智能公司DeepSeek用OpenAI的内容训练出了风靡全球的新模型。 时政 ( twitter.com)

时政

马克龙讲课还真有模有样，他好像以前就想当老师，后来没当上 时政 ( twitter.com)

时政

创建一个新帐户

登录

李老师讲课，什么是大模型的蒸馏(distillation)，以及我们应该如何看DeepSeek遭遇的“模型蒸馏”指控
时政
( twitter.com )

蒸馏技术是什么鬼！
时政
( twitter.com)

Open AI 开源了一个新的 Whisper turbo 模型。
这是 Large v3 模型的蒸馏模型
运行速度提升了8倍
显存 (VRAM) 使用效率提高了40%
准确度仅有微小降低
太猛了，在使用Whisper的服务可以替换了。
IT技术
( twitter.com)

特朗普的AI沙皇：DeepSeek的AI模型是用蒸馏技术跟ChatGPT学习的—— 《华尔街日报》美国总统特朗普的AI沙皇戴维·萨克斯周二表示，中国人工智能公司DeepSeek用OpenAI的内容训练出了风靡全球的新模型。
时政
( twitter.com)

马克龙讲课还真有模有样，他好像以前就想当老师，后来没当上
时政
( twitter.com)