复旦团队：全参数微调用于资源有限的大语言模型单台机器能够微调65B参数的LLaMA这项技术使得一个只有8块RTX 3090显卡（每块显存24GB）的单一机器能够完全微调一个拥有65B参数的模型。代码库：…

发布时间: 2023-06-20 09:46:52

1分

数据加载中

关注推特

收听电报

2

1

0

复旦团队：全参数微调用于资源有限的大语言模型

单台机器能够微调65B参数的LLaMA

这项技术使得一个只有8块RTX 3090显卡（每块显存24GB）的单一机器能够完全微调一个拥有65B参数的模型。

代码库：…
IT技术
( twitter.com )

1年前由 GPTDAOCN 提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

大语言模型微调之道2——为什么要微调

#大语言模型微调之道

欢迎来到由Sharon Zhou主讲的《大语言模型微调之道》课程。这门课程将教你如何在自己的数据上进一步训练开源LLM。

这视频中，我们探讨了为什么要微调大语言模型（LLM）。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:14:35

2

2

1

1

【复旦MOSS升级版开源上线，能搜索信息、生成图像，还能解数学应用题】“MOSS的道德感也很强，”复旦大学自然语言处理实验室博士生孙天祥说，对于有负能量的指令，它也可以给出令人满意的回复。
大陆资讯
( web.shobserver.com)

1年前 • 猪莉夜 • -- 点击 0 评论

3

2

1

1

最新开源模型选择个人推荐（超过40B的建议购买API服务，其他则建议自行int4部署）。
中文 RAG 选择 CommandR+
Agent/FunctionCalling 使用 Llama3-70B 或 CommandR+
中文文案写作用Qwen-72B，语言更Local一些。
特定任务的小参数微调base模型用 Llama3-8B 或 Mistral-7B
大参数微调base 模型用 Yi-34B
时政
( twitter.com)

9个月前 • 九原客 • -- 点击 0 评论

4

3

2

2

上海复旦张文宏团队研究的一组有关新冠病毒的数据。
时政
( twitter.com)

2年前 • twitter机器人 • -- 点击 0 评论

5

2

1

1

一个社会的生产能力是有限的。如果将精力用于生产某一物资，其他物资的产出就会减少。同样地，一个政府能支配的总资源也有限。如果政府把更多资源用于对付老百姓，那么只会有更少资源用于改善百姓生活。而一旦陷入死循环，就很难回头了，维稳开支会越来越大，百姓怨言也越来越大，直到体制崩溃为止。
时政
( twitter.com)

2年前 • Jacobson🌎🌸贴贴BOT • -- 点击 0 评论

6

2

1

1

马斯克旗下大模型公司xAI宣布正式开源3140亿参数的混合专家（MoE）模型“Grok-1”。Grok-1为当前参数量最大的开源大语言模型。
不过与目前推特X平台付费版的Grok不同，Grok-1从头开始训练，没有针对任何特定应用进行微调。
时政
( twitter.com)

10个月前 • 外汇交易员 • -- 点击 0 评论

7

2

1

1

转：上海复旦张文宏团队研究的一组有关新冠病毒的数据：
时政
( twitter.com)

2年前 • twitter机器人 • -- 点击 0 评论

8

2

1

1

可商用！复旦大学开源了160B参数的大模型MOSS
MOSS是一个支持中英双语和多种插件的对话语言模型，基座模型在约七千亿中英文以及代码单词上预训练得到。具备多轮对话能力及使用多种插件的能力
很多训练语料都使用ChatGPT AP…
推特中文圈
( twitter.com)

1年前 • nash_su • -- 点击 0 评论

9

2

1

1

大语言模型微调之道1——介绍

#大语言模型微调之道

欢迎来到由Sharon Zhou主讲的《大语言模型微调之道》课程。这门课程将教你如何在自己的数据上进一步训练开源LLM。

虽然你可能已经知道如何提示一个大语言模型，但这门课程会深入讲解另一个重要工具：微调。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:02:59

0.16212 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: admin@bad.news

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特