我在尝试用125M的GPT2模型训练编码后的OHLC数据，先构建一个小的模型在本机测试看看能否收敛，验证可行性后在部署GPU服务器去训练，刚才再次确认了一下代码数据集是在DataCollator被自动打上了标签，所以标签就是输入序…

发布时间: 2023-03-05 07:22:11

1分

数据加载中

关注推特

收听电报

2

1

0

我在尝试用125M的GPT2模型训练编码后的OHLC数据，先构建一个小的模型在本机测试看看能否收敛，验证可行性后在部署GPU服务器去训练，刚才再次确认了一下代码数据集是在DataCollator被自动打上了标签，所以标签就是输入序…
时政
( twitter.com )

1年前由 Jixian Wang 提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

在线编程平台Replit近期发布了一篇关于《如何训练你自己的大型语言模型》的博客文章，分享了他们在训练自家编程大型语言模型（LLM）过程中的经验和教训。

他们把整个过程分成了三个阶段：数据管道、模型训练、推理

他们的主要数据来…
推特中文圈
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

2

2

1

1

打败ChatGPT，Claude震惊到我了
之前一直用ChatGPT生成训练语料 Fine-tuning 我们的模型，刚刚用Claude试了下，他竟然能基于给定内容编故事编案例，感觉是有很强的推理能力，不知道是基于训练内容生成的还…
推特中文圈
( twitter.com)

1年前 • nash_su • -- 点击 0 评论

3

2

1

1

金融专用大模型：BloombergGPT
500亿参数，训练成本超过1300万，用AWS64台8xA100训练53天完成核心模型训练。
主要实现问答、新闻头条编写、生成BQL等
按青云相同配置价格粗略计算训练成本1300W+
然而…
推特中文圈
( twitter.com)

1年前 • nash_su • -- 点击 0 评论

4

2

1

1

Stability AI正式发布了DeepFloyd IF图像生成模型，这是一个有文本编码器和三个级联的diffusion模块组合的模型。这个模型的效率要比原有的satble diffusion效率要高很多。
我尝试了一下，看起…
推特中文圈
( twitter.com)

1年前 • 歸藏 • -- 点击 0 评论

5

2

1

1

可商用！复旦大学开源了160B参数的大模型MOSS
MOSS是一个支持中英双语和多种插件的对话语言模型，基座模型在约七千亿中英文以及代码单词上预训练得到。具备多轮对话能力及使用多种插件的能力
很多训练语料都使用ChatGPT AP…
推特中文圈
( twitter.com)

1年前 • nash_su • -- 点击 0 评论

6

2

1

1

最近密集测试了最新的多款支持中文的模型，做如下推荐：

1. 商用请选择 Aquila 或者 baichuan（需申请）。
2. 预训练模型推荐 baichuan-7B 或 Aquila-7B。
3. 开箱即用的 Chat 模型，…
推特中文圈
( twitter.com)

1年前 • 九原客 • -- 点击 0 评论

7

2

1

1

今天有跟Nvidia 研发中心的一位技术负责人聊，他们这有六十多块A100。之前帮一团队训练模型，用8块A100训练，训练效率大概每秒10w Token。无锡超算那边基本上大部分都是国产化设备，训练模型的效率大概是每秒9w Token。在模型训练上，仅用8块A100就能抵过一个超算中心了。
时政
( twitter.com)

1年前 • Shawn Xie • -- 点击 0 评论

8

2

1

1

2024 年第一个模型，基于gemma-2b和 Linux 中国文章数据训练的科技文章标题生成模型。这个模型解决了我写文章起什么标题的难题🤣。然后这个模型我开放了训练期间所有的中间模型，供大家参考。我个人倾向于用2000 step 的这个。
时政
( huggingface.co)

10个月前 • GanymedeNil • -- 点击 0 评论

9

2

1

1

（1/2）看到很多人在讨论 M2 192GB 内存的版本，其实想说，前段时间尝试在 Mac 上给捧读训练一个支持 1.2W 汉字的日语手写输入法，大概用到了 2T 多的训练数据，这数据量还仅仅是针对手写输入这样一个很小的模型，结果…
IT技术
( twitter.com)

1年前 • kevinzhow • -- 点击 0 评论

0.129 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: admin@bad.news

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特