如何从 ChatGPT 蒸馏出小模型，现在很多国内的所谓垂直大模型貌似都在这么干。

发布时间: 2023-08-22 13:53:01

1分

数据加载中

关注推特

收听电报

2

1

0

如何从 ChatGPT 蒸馏出小模型，现在很多国内的所谓垂直大模型貌似都在这么干。

IT技术
( www.zhihu.com )

1年前由响马提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

如何让小模型的推理效果在某些领域比 ChatGPT 这样的大模型还要更强？这篇论文提供了一个思路：
IT技术
( arxiv.org)

1年前 • Barret李靖 • -- 点击 0 评论

2

2

1

1

150分钟语音转文字只需要1分18秒！
低端T4显卡，whisper large v3 蒸馏模型配合Flash-attention 2，速度起飞啊
时政
( github.com)

1年前 • nash_su • -- 点击 0 评论

3

2

1

1

试着用 ChatGPT 和 BingChat 做了个 Stable Diffusion 的快速上手 slides，简单介绍了一下如何用现成的模型生成小姐姐的「照骗」
币圈
( drive.google.com)

1年前 • Max Lv • -- 点击 0 评论

4

2

1

1

Meta 昨晚除了 Llama3 之外还发布了他们在 Meta AI 中使用的图像生成蒸馏技术。
通过三步的推理就可以生成跟原始模型一样质量的图像。
此方法包括三大核心技术：
i）逆向蒸馏（Backward Distillation），此技术通过在模型自身的逆向路径上进行微调，以减少训练与推理间的差异；…
IT技术
( twitter.com)

9个月前 • 歸藏(guizang.ai) • -- 点击 0 评论

5

2

1

1

蒸馏水应该不能“放生”。
有趣
( twitter.com)

1年前 • 出埃及记 • -- 点击 0 评论

6

2

1

1

《如何让 ChatGPT 3.5 这样的小模型也能大幅提升翻译质量？也能像 GPT-4 一样执行复杂指令？》

前面我分享了如何通过《一个简单的Prompt大幅提升ChatGPT翻译质量，告别“机翻感”》，简单来说，这个 Prompt 就是让 ChatGPT…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

7

2

1

1

ChatGPT 背后的原理是什么？

Stephen Wolfram 花了大概 3 个多小时的时间解释了 ChatGPT 背后涉及的原理，从最基础的模型概念一直到如何构造一个神经网络，深入浅出，对于没有深度学习背景的人也能够很好地…
推特中文圈
( twitter.com)

1年前 • Jiayuan • -- 点击 0 评论

8

2

1

1

HuggingFace上有大量的AI模型，相当于AI模型的Github。现在有人做了一个HuggingGPT，把chatgpt连到这些模型上。也就是说ChatGPT现在是人类创建的所有AI的总指挥官了。
推特中文圈
( twitter.com)

1年前 • Jeffery Kaneda　金田達也 • -- 点击 0 评论

9

2

1

1

一位论文作者火了，ChatGPT等大型语言模型何时能成为论文合著者？
大陆资讯
( www.jiqizhixin.com)

2年前 • 小唧唧 • -- 点击 0 评论

0.12398 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: admin@bad.news

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特