合成数据能否解锁 AI 的递归自我进化?— 马克·扎克伯格

Mark Zuckerberg: 其中一个有趣的事情是即使在训练了 700 亿大小的模型时我们发现它并没有达到饱和。我们在大约 15 万亿 token 的数据上进行了训练。是的，我们原本预计模型会需要更多数据，但到最后，它仍然在学习。也就是说，如果我们能提供更多的 token，模型可能会有所改善。但是，你需要考虑，你正在经营一家公司，你需要考虑这样的问题：我应该如何分配我们的 GPU 资源，是继续训练这个 70 亿的模型，还是为了测试 llama 4 的假设而继续前进？因此，我们需要做出决定。我认为我们找到了一个合理的平衡，对于这个版本的 70 亿模型来说。

这个结构在这个阶段可以接受大量的数据，这非常吸引人。我确实认为，未来，我们所谓的大型模型的训练可能会更多沿着推理的路线，生成合成数据，然后将其输入模型。我不确定这个比例会是多少，但我倾向于认为，生成合成数据更像是今天的推理过程，而不仅仅是训练。但是，如果你这样做是为了训练一个模型，那么它肯定是更广泛的训练过程的一部分。这是一个未决的问题，我们需要找出这种平衡并理解其作用方式。

Dwarkesh Patel: 如果是这样的话，那么 llama 3 可能也会如此，甚至在 llama 4 及以后的版本，你们推出这个模型。只要有人拥有大量的计算能力，就可以利用你们发布的模型，使这些模型变得更为智能。比如说，科威特或阿联酋或其他一些拥有大量计算能力的国家。他们可以直接利用 llama 4 来创造出更为智能的模型。我认为会有这样的趋势出现。

实际上，我对生成合成数据这个观点非常感兴趣，对于你为什么不认为现有的模型可以采用这种方式，我有一些疑问。我理解为什么仅通过反复使用合成数据训练可能会有一个极限，如果模型变得更聪明并应用你在论文或者即将发布的博客文章中提到的技术，这篇文章将在这个发布日公开，它将进入思考链条。这是最正确的结果。你为什么不认为这将导致一个循环过程？当然，这不会在一夜之间实现，但在几个月或几年的训练后，可能会配合一个更聪明的模型，模型变得更聪明，产生更好的输出，然后再变得更聪明，如此循环。

Mark Zuckerberg: 我认为在模型架构的参数范围内，这种情况可能会发生，就像现在的模型参数可能已经达到了 80 亿。我觉得你可能无法做到像那些顶尖的、参数达到数千亿的模型那样好，这些模型将最新的研究成果融入了架构内。当你在开发软件的时候，有很多事情你可以用软件来完成，但是在某种程度上，你是受制于运行这个软件的芯片的，对吗？因此，总是有各种物理限制，模型的大小将受到你能够提供的能源大小的限制。以及用于推理的能源。

所以，我既非常乐观地看待这些技术的快速进步，也比一些人更为审慎。我并不认为随意提升模型的智能水平会是一个特别可能发生的情景。

Dwarkesh Patel: 嗯。我觉得保持各种选项的开放性是明智的。我们还有很多未知的东西。有一种情况是，保持权力平衡是非常重要的。这样就不会有人成为极权独裁者，另一种情况是，你可能不想开源架构，因为像中国这样的国家可能会利用它来迎头赶上美国的 AI。就像出现了智能的突然爆炸，他们可能会喜欢这种情况，嗯，很多事情看起来都是不可能的。保持对各种可能性的开放性，考虑所有可能性，看起来是合理的。

来源：https://t.co/N3AVZfCoci