预训练23年底就死了，只是这两个月才埋微调24年q1也死了，只是还没有被埋更是发现有些名词从前沿传到创投圈就被异化了词义：大模型做teacher model教作为student的小模型，有人把这个过程叫做蒸馏，是完全错误的teacher student的模型范式和蒸馏没关系蒸馏也不是简单的做数据再训练weak to

发布时间: 2025-01-08 14:50:27

1分

数据加载中

关注推特

收听电报

2

1

0

预训练23年底就死了，只是这两个月才埋
微调24年q1也死了，只是还没有被埋
更是发现有些名词从前沿传到创投圈就被异化了词义：
大模型做teacher model教作为student的小模型，有人把这个过程叫做蒸馏，是完全错误的
teacher student的模型范式和蒸馏没关系
蒸馏也不是简单的做数据再训练
weak to
时政
( twitter.com )

昨天由 Panda 提交

预训练23年底就死了，只是这两个月才埋
微调24年q1也死了，只是还没有被埋

更是发现有些名词从前沿传到创投圈就被异化了词义：

大模型做teacher model教作为student的小模型，有人把这个过程叫做蒸馏，是完全错误的
teacher student的模型范式和蒸馏没关系
蒸馏也不是简单的做数据再训练
weak to strong learning才是核心

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

3

2

2

AI是怎么变聪明的？难道就是跑个超级大模型就行了？其实根本不是。让一个AI模型真正聪明起来的重要因素就是人工训练，用最天才的头脑，进行海量的知识问答训练，才能让AI掌握顶尖的人类智慧。中国有能够训练AI的人吗？你能指望一帮奴才能训练出一个乔布斯的思维模型？…
时政
( twitter.com)

10个月前 • Lei’s Talk • -- 点击 0 评论

2

2

1

1

网传阿里洽谈收购零一万物的预训练团队。
大模型公司不做预训练其实真的没什么。
预训练的ROI这么低，钱花在哪里不好呢？
IT技术
( twitter.com)

前天 • orange.ai • -- 点击 0 评论

3

2

1

1

57岁的泰森训练中，今年6月就58岁了，7月有场比赛要打
大陆资讯
( weibo.com)

9个月前 • 墙头看世界 • -- 点击 0 评论

4

2

1

1

「还是谷歌好」，离职创业一年，我才发现训练大模型有这么多坑
大陆资讯
( www.jiqizhixin.com)

10个月前 • 倩女幽会 • -- 点击 0 评论

5

4

3

3

几千年了连埋个死人都会死人😗这片土地上从来就没有过文明☝️
时政
( twitter.com)

5个月前 • 吃瓜党人🇯🇵✝️ • -- 点击 • 下载视频 0 评论

00:00:29

6

2

1

1

最近学到了一个很奇怪的知识，就是“导盲犬”这个玩意，其实是个经典谎言。
犬类并不具备在城市辨识道路的能力，也不能应对复杂的路面交通情况和庞杂的人流。全球每年正式训练出来并经过认证的所谓导盲犬数量只有几百条，并且那些所谓训练也都是装逼式的瞎扯淡，跟一般的犬类服从性训练没有任何两样。…
时政
( twitter.com)

8个月前 • 老蛮频道 • -- 点击 0 评论

7

2

1

1

扎克伯格认为 GPU 紧缺不是问题，能源才是大问题。
还没有人建设过一个千兆瓦的单一训练集群，一个千兆瓦的概念，就如同一个有影响力的核电站，全部的能源只用来训练模型。
做计划时要考虑技术发展的速度，这是一件非常困难的事情。
***
Mark Zuckerberg: 过去几年我觉得 GPU
IT技术
( twitter.com)

8个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:03:36

8

3

2

2

【张志磊丨饥饿的拳王】——今年5月你就要过41岁生日了，所谓“拳怕少壮”，你对年龄的增长有顾虑吗？——张志磊：“在重量级里年龄不是问题，只要你的生活够自律、训练够科学，把这两点做好，我不惧怕任何对手。”
大陆资讯
( mp.weixin.qq.com)

8个月前 • 投票吧骚年 • -- 点击 0 评论

9

2

1

1

一晃整整两年过去了。
上海这两个人的确恶心，明明结果一封就是两个多月，
这两个造谣的却说只封7天，太恶劣了、人神共愤！！
时政
( twitter.com)

9个月前 • 蕨代霜蛟 • -- 点击 0 评论

0.09771 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: admin@bad.news

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特