“当我们训练一个庞大的神经网络，让它准确预测互联网上各式各样文本中的下一个单词时，我们实际上是在学习一个“世界模型”。乍一看，好像我们只是在学习文本中的统计关联性。但事实上，为了精确地学习文本中的统计关联并有效地压缩这些信息，神经网络实际上学习到的是产生这些文本的过程的某种表示。”

发布时间: 2024-11-11 13:00:46

1分

数据加载中

关注推特

收听电报

2

1

0

“当我们训练一个庞大的神经网络，让它准确预测互联网上各式各样文本中的下一个单词时，我们实际上是在学习一个“世界模型”。乍一看，好像我们只是在学习文本中的统计关联性。但事实上，为了精确地学习文本中的统计关联并有效地压缩这些信息，神经网络实际上学习到的是产生这些文本的过程的某种表示。”
IT技术
( twitter.com )

2个月前由宝玉提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

ChatGPT 类系统是如何运作的呢？
让我们通过下面的图解来探索它的运作机制。整个过程主要分为两大部分。
1. 训练过程。要打造一个 ChatGPT 模型，我们需要经历两个关键阶段：
- 预训练：在这一阶段，我们会对一个 GPT 模型（一种仅包含解码器的…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

2

2

1

1

大模型训练超参可视化出现“分形”效果！
有人将神经网络训练中超参数（学习率）和收敛的关系进行了可视化，发现了神奇的分形效果，不得不感叹规律和数学之美无处不在啊。
本质上分形就是重复调用同一个方法，这跟模型训练本质是类似的，这也可能是出现“分形”的原因。
原文：
时政
( sohl-dickstein.github.io)

11个月前 • nash_su - e/acc • -- 点击 • 下载视频 0 评论

00:01:12

3

2

1

1

以色列国防军透露，它在加沙城南部发现了另一个庞大的哈马斯地道网络，并公布了警犬扫描地下通道的录像。

时政
( twitter.com)

1年前 • Inty热点新闻 • -- 点击 • 下载视频 0 评论

00:00:35

4

2

1

1

OpenAI 12 天的第 2 天，强化微调，通过少量数据，让模型在专业领域到达专家水平。
跟之前的微调不一样，它不是通过把数据记住答案，而是在微调的过程中训练自己在某个领域的推理能力找到正确答案，有点像给 AI 一本棋谱，让它自己训练自己下棋。
IT技术
( twitter.com)

1个月前 • 宝玉 • -- 点击 0 评论

5

2

1

1

关于三种类型的专家混合模型 (Mixture of Experts, MoE) 的简短教程，包括预训练的 MoE、升级的 MoE 和 FrankenMoE。
作者还提供了推荐的论文列表，可以去原贴查看。
MoE 概述
MoE 使用稀疏的 MoE 层替换前馈层。这些层包含一定数量的专家(例如8个),每个专家都是一个神经网络(通常是前馈网络…
IT技术
( twitter.com)

9个月前 • 歸藏 • -- 点击 0 评论

6

3

2

2

这么庞大的一个群体
全人类最顽固，最难现代化的14亿人
咱们党能把它们每个人都控制的这么好
已经算是一个
奇迹
时政
( twitter.com)

4个月前 • 勃勃OC • -- 点击 0 评论

7

2

1

1

看见网友说：网评员又称网络吹鼓手，那些出口就“土殖、美狗、汉奸”的大概率都属于这个团伙，用词那么一致，估计是统一培训出来的。它们是一群靠出卖自己的灵魂生活在这个世界的畜生！
时政
( twitter.com)

7个月前 • Jacobson🌎🌸贴贴BOT • -- 点击 0 评论

8

2

1

1

【OpenAI CTO：不确定Sora的训练数据来自哪里】记者询问Murati关于Sora训练数据来源时，她仅以含糊的官方话术搪塞：“我们使用的是公开可用数据和许可数据。”当记者追问具体来源是否包含YouTube视频时，Murati表示“我实际上并不确定”，并拒绝回答有关Instagram或Facebook视频是否被纳入训练集的问题。
大陆资讯
( www.ithome.com)

10个月前 • 不知道 • -- 点击 0 评论

9

2

1

1

网传阿里洽谈收购零一万物的预训练团队。
大模型公司不做预训练其实真的没什么。
预训练的ROI这么低，钱花在哪里不好呢？
IT技术
( twitter.com)

13天前 • orange.ai • -- 点击 0 评论

0.1099 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: admin@bad.news

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特