Amazon 为何向人工智能公司 Anthropic 投资四十亿美元？

Amazon 刚给 OpenAI 的竞争对手 Anthropic 投资了 40 亿美元，如果你想知道为什么 Amazon 要投资 Anthropic 不妨看看这个最新的财富杂志采访 Anthropic CEO 也是创始人 Dario Amodei 的视频。

相对 Sam Altman，Dario 的采访视频要少见的多，他在视频中还是回答了不少问题。

问：“为什么选择离开 OpenAI，去创建 Anthropic 公司呢？”

答：
Dario Amodei 离开 OpenAI 并创建 Anthropic 的主要原因是他和一些同事坚定地相信两个核心理念，可能比 OpenAI 其他人更为深信不疑。

无限进步理念： 他们相信只要持续增加计算资源投入到语言模型中，这些模型就会持续改进和发展，而且这个进步是无限的。这个观点现在已经得到了广泛的认可。

模型对齐和安全性： 他们认为仅仅增大模型规模是不够的，还需要注意模型的对齐和安全性。仅靠增强计算力，并不能直接塑造模型的价值观。他们意识到这一点并深感其重要性。

这群人之间建立了深厚的信任，并共同努力创立了 Anthropic，带着上述信念，期望能够更好地实现他们对 AI 的愿景。

问：“Claude” 相对于 “ChatGPT”或“Bard”，有什么独特之处呢？

答：
“Claude”在设计之初，主要关注其安全性和可控性。以下是“Claude”与“ChatGPT”和“Bard”相比的一些独特之处：

1. 安全性和可控性： “Claude”的开发团队重点关注安全性和可控性。许多早期企业用户希望模型的行为是可预测的，而且不会随意编造事实，这些都是“Claude”设计时所考虑的。

2. “宪法式AI”理念： “Claude”背后的独特理念是“宪法式AI”。这与依赖“基于人类反馈的强化学习”的常见聊天机器人有所不同。宪法式AI的核心思想是由一群人来评估和指导模型的表现，明确哪些回答更好。这些评分被汇总，以指导模型的训练，使其按照用户的期望行动。

3. 透明度： “宪法式AI”允许用户更透明地了解模型正在做什么，使得模型更容易被控制，同时确保其安全性。

4. 超大上下文窗口： “Claude”有一个超大的上下文窗口，称为“context window”，允许模型一次接收和处理大量文本，具体来说是“100K Tokens”（大约相当于75,000个单词）。这使得用户可以与“Claude”进行更深入的对话，甚至可以向其提出关于一部短篇小说长度的文本的问题。

问：“Anthropic 是如何保护企业的提示词数据和训练数据的隐私和安全的？”

答：
Anthropic 公司非常重视数据隐私和安全性。以下是他们采取的一些关键措施来保护企业的提示词数据和训练数据的隐私和安全：

1. 合作伙伴选择： Anthropic 与 Amazon 合作推出了一个名为“Bedrock”的服务。通过这项服务，模型首次在 Amazon Web Services (AWS) 上进行托管，这样可以有效保护数据安全。

2. 数据安全保障： Anthropic 的许多企业客户特别关心模型的可预测性和安全性。因此，公司采取了必要的措施来确保其模型的行为是可预测的，并且不会随意编造事实。这样可以保护使用模型的企业的数据安全和隐私。

3. 客户数据使用限制： 在数据隐私方面，Anthropic 不会使用客户数据进行模型训练，除非客户明确希望这样做以改进模型。这意味着，除非得到客户的明确许可，否则客户的数据不会被用于任何其他目的。

问：“对于 AI 监管，政府对于研发大语言模型的公司有什么担忧呢？Dario表达了哪些观点？”

答：
政府对于研发大语言模型的公司的担忧主要集中在AI的监管，特别是考虑到AI技术迅猛发展的背景下，政府需要设法预见未来的技术发展，并基于此制定坚实的监管措施。此外，由于大语言模型可能会产生危险和风险，政府也需要能够准确判断和测量模型的潜在危险。特别是，由于模型可能会产生危险的输出（例如恶意软件、误导信息或致命病毒的制作方法），这些风险可能是难以预见的。

Dario Amodei在与政府官员的交流中表达了以下几个关键观点：

1. AI领域的快速发展：AI技术正在以指数级的速度发展，有时甚至超出了开发者自身的预期。因此，Dario建议政府不仅要基于当前的技术现状制定监管规则，还需要预见未来几年可能出现的技术，并制定相应的监管措施。

2. 测量模型潜在危险的重要性：由于模型的输出可能涉及危险和风险，因此需要进行深入的科学评估和评价工作以测量模型的潜在危险。他鼓励相关人员进行这样的评估工作，并表示政府官员对此表示了理解和认同。

他的观点强调了预见未来技术发展的重要性，以及测量和评估模型潜在危险的必要性，这些都是政府在制定AI监管政策时需要考虑的关键因素。

问：“AI 监管对开源社区有什么影响？Dario 对开源 AI 模型的观点是什么？”

答：
Dario 认为AI监管对开源社区的影响是一个复杂的问题。他指出开源对科学研究非常重要，然而，开源模型相比私有模型更难以控制和实施安全保护。Dario 表示他支持规模较小，计算需求相对较低的开源模型，这个支持的界限大致是现今已有模型的规模。

他还提到，随着未来风险的逐渐增加，保持开源模型的安全将变得越来越困难。虽然他并不主张全盘禁止或不使用开源模型，但强调需要更为审慎地考虑开源模型的潜在影响。简而言之，Dario 对于小规模的开源AI模型持支持态度，但对于大规模模型，他表达了一定的担忧和警惕。

问：“Dario 对存在性风险有什么看法和担忧呢？”
答：
Dario Amodei 认为存在性风险（existential risk）是真实存在的。虽然这些风险当前还没有显现，但他认为这是一个真实并需要关注的问题。他将风险分为短期、中期和长期三个层面：

1. 短期风险：他指的是当前社会面临的问题，比如AI系统的偏见和误导信息。

2. 中期风险：他预测在未来几年，随着AI模型在科学、工程和生物学等领域的持续进步，有潜在风险出现。在这个阶段，人们可以利用AI模型做一些有害的事情，这些在没有模型的情况下是无法完成的。

3. 长期风险：这与智能体模型有关。当AI模型不仅可以产生文本输出，还可以进行实际操作（无论是通过机器人还是在网络上）时，它们可能变得过于自主，从而难以控制。在极端情况下，这可能涉及到生存风险的问题。

Dario提到，虽然现在不需要恐慌，因为这些风险不会立即发生，但随着AI技术的指数级增长，人们确实需要了解并为这些潜在的风险做好准备。他认为防止不利情况发生是每个人的责任，并且表达了对未来的混合情绪，既有乐观也有担忧。他预测大部分事情将会顺利进行，但也存在一定的风险（大约10%到20%的可能性）事情可能不会按计划进行。

原始视频：https://t.co/sEc7Emt0X5