GPT-4 用于训练的数据量据说在 5到9万亿 token 之间。假设是 9 万亿，这就等价于 45 terabyte. 普通一本英文书的数据量大约在 1 MB (一个英文字母相当于一个 byte), 所以 45 TB…

发布时间: 2023-03-24 03:48:21

1分

数据加载中

关注推特

收听电报

GPT-4 用于训练的数据量据说在 5到9万亿 token 之间。假设是 9 万亿，这就等价于 45 terabyte. 普通一本英文书的数据量大约在 1 MB (一个英文字母相当于一个 byte), 所以 45 TB…
推特中文圈
( twitter.com )

1年前由硅谷王川 Chuan 提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

【GPT-4技术细节保密惹争议】OpenAI 分享了大量 GPT-4 基准和测试结果以及一些有趣的演示，但几乎没有提供有关用于训练系统的数据、算力成本或用于创建 GPT-4 的硬件或方法等信息。
大陆资讯
( www.jiqizhixin.com)

1年前 • 流精岁月 • -- 点击 0 评论

据公开资料，GPT-3训练数据集中中文仅占不到0.2%。

互联网上中文语料本就质量不高，等AIGC开始流行后，很可能我们日常所接触到的大多数中文文本都是将基于这不到0.2%的数据变换重整而来，更糟糕的是这些海量文本还会被用作训练…
推特中文圈
( twitter.com)

1年前 • 象牙山刘能 • -- 点击 0 评论

终极「揭秘」：GPT-4模型架构、训练成本、数据集信息都被扒出来了
大陆资讯
( www.jiqizhixin.com)

1年前 • 观光团 • -- 点击 0 评论

从下面文章里，GPT-4的细节已经大量泄露

GPT-4架构、基础设施、训练数据集、成本、愿景和MoE
揭秘GPT-4：OpenAI在其架构方面做出的工程权衡。

英文可以参考：

下面情况具体的细节：
IT技术
( semianalysis.com)

1年前 • Jeffery Kaneda　金田達也 • -- 点击 0 评论

劲爆🚨

OpenAI刚刚推出了GPTBot，这是一个自动从整个互联网抓取数据的网络爬虫。

这些数据将被用来训练像GPT-4和GPT-5这样的未来AI模型！

GPTBot会确保不包括违反隐私的来源和那些需要付费的内容。…
IT技术
( twitter.com)

1年前 • GPTDAOCN • -- 点击 0 评论

科普更正：GPT的语料库不依赖自己爬取链接，主要的海量数据源来源于还有维基，在，现在做AI训练爬虫不是关键，重点…
时政
( twitter.com)

1年前 • Jixian Wang • -- 点击 0 评论

【ChatGPT之父Sam Altman首次公开表态：GPT-5根本不存在】之前一直有大瓜称，GPT-5正在秘密训练中，预计年底上线。结果Sam Altman言之凿凿地说：「我们现在并没有训练GPT-5，目前只是在GPT-4的基础上进行更多的工作而已。」
大陆资讯
( mp.weixin.qq.com)

1年前 • 舔你妹 • -- 点击 0 评论

闪电预览

（1/2）看到很多人在讨论 M2 192GB 内存的版本，其实想说，前段时间尝试在 Mac 上给捧读训练一个支持 1.2W 汉字的日语手写输入法，大概用到了 2T 多的训练数据，这数据量还仅仅是针对手写输入这样一个很小的模型，结果…
IT技术
( twitter.com)

1年前 • kevinzhow • -- 点击 0 评论

OpenAI开发者大会亮点：
GPT-4 Turbo
支持128K上下文，相当于同时处理300多页文本内容；
训练数据更新至2023年4月；
添加JSON模式，更新了多个函数调用能力；
支持图像输入，集成DALL·E 3，自动总结图片内容；
价格比GPT-4输入便宜3倍，输出便宜2倍。

自定义GPT…
时政
( twitter.com)

1年前 • 外汇交易员 • -- 点击 0 评论

GPT-4 用于训练的数据量据说在 5到9万亿 token 之间。假设是 9 万亿，这就等价于 45 terabyte. 普通一本英文书的数据量大约在 1 MB (一个英文字母相当于一个 byte), 所以 45 TB… 推特中文圈 ( twitter.com )

推特中文圈

【GPT-4技术细节保密惹争议】OpenAI 分享了大量 GPT-4 基准和测试结果以及一些有趣的演示，但几乎没有提供有关用于训练系统的数据、算力成本或用于创建 GPT-4 的硬件或方法等信息。 大陆资讯 ( www.jiqizhixin.com)

大陆资讯

推特中文圈

终极「揭秘」：GPT-4模型架构、训练成本、数据集信息都被扒出来了 大陆资讯 ( www.jiqizhixin.com)

大陆资讯

从下面文章里，GPT-4的细节已经大量泄露 GPT-4架构、基础设施、训练数据集、成本、愿景和MoE 揭秘GPT-4：OpenAI在其架构方面做出的工程权衡。 英文可以参考： 下面情况具体的细节： IT技术 ( semianalysis.com)

IT技术

劲爆🚨 OpenAI刚刚推出了GPTBot，这是一个自动从整个互联网抓取数据的网络爬虫。 这些数据将被用来训练像GPT-4和GPT-5这样的未来AI模型！ GPTBot会确保不包括违反隐私的来源和那些需要付费的内容。… IT技术 ( twitter.com)

IT技术

科普更正：GPT的语料库不依赖自己爬取链接，主要的海量数据源来源于 还有维基，在，现在做AI训练爬虫不是关键，重点… 时政 ( twitter.com)

时政

大陆资讯

IT技术

时政

创建一个新帐户

登录

GPT-4 用于训练的数据量据说在 5到9万亿 token 之间。假设是 9 万亿，这就等价于 45 terabyte. 普通一本英文书的数据量大约在 1 MB (一个英文字母相当于一个 byte), 所以 45 TB…
推特中文圈
( twitter.com )

【GPT-4技术细节保密惹争议】OpenAI 分享了大量 GPT-4 基准和测试结果以及一些有趣的演示，但几乎没有提供有关用于训练系统的数据、算力成本或用于创建 GPT-4 的硬件或方法等信息。
大陆资讯
( www.jiqizhixin.com)

终极「揭秘」：GPT-4模型架构、训练成本、数据集信息都被扒出来了
大陆资讯
( www.jiqizhixin.com)

从下面文章里，GPT-4的细节已经大量泄露

GPT-4架构、基础设施、训练数据集、成本、愿景和MoE
揭秘GPT-4：OpenAI在其架构方面做出的工程权衡。

英文可以参考：

下面情况具体的细节：
IT技术
( semianalysis.com)

劲爆🚨

OpenAI刚刚推出了GPTBot，这是一个自动从整个互联网抓取数据的网络爬虫。

这些数据将被用来训练像GPT-4和GPT-5这样的未来AI模型！

GPTBot会确保不包括违反隐私的来源和那些需要付费的内容。…
IT技术
( twitter.com)

科普更正：GPT的语料库不依赖自己爬取链接，主要的海量数据源来源于还有维基，在，现在做AI训练爬虫不是关键，重点…
时政
( twitter.com)