语言模型悄悄偷懒？研究发现：上下文太长，模型会略过中间不看

发布时间: 2023-07-24 17:00:11

0分

数据加载中

关注推特

收听电报

1

0

-1

语言模型悄悄偷懒？研究发现：上下文太长，模型会略过中间不看
大陆资讯
( www.jiqizhixin.com )

1年前由 rabbit 提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

转译：《苹果公司于 10 月份悄然发布了一款开源多模态 LLM》
苹果公司在2023年10月低调发布了一款名为Ferret的开源多模态大语言模型，这是苹果与哥伦比亚大学研究人员的合作成果。当时，尽管发布包括了代码和权重（仅限研究用途，不包含商业许可），但并未引起太多关注。然而，随着近期 Mistral…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

2

2

1

1

Google刚刚发布了开源大语言模型 Gemma，这是对标 LLAMA 2 的开源大语言模型。
Gemma是一系列基于创建Gemini模型所使用的相同技术与研究的、在其领域内技术领先的轻量级开源模型。…
IT技术
( twitter.com)

11个月前 • 宝玉 • -- 点击 0 评论

3

2

1

1

Orca: 微软研究院上周发布的论文，打破了小模型只能模仿大模型的语言风格而不能学到推理能力的假设。通过让小模型学习 GPT-4/3.5 的五百万次推理过程，在 13 billion 参数的情况下，做到了等同甚至超过 ChatGP…
推特中文圈
( twitter.com)

1年前 • Quinn Leng • -- 点击 0 评论

4

2

1

1

悄悄穿出去不会被发现吧..
图片
( twitter.com)

2年前 • twitter机器人 • -- 点击 0 评论

5

4

3

3

来自OpenAI的Safety团队的负责人Lilian Weng发表的新文章：《Adversarial Attacks on LLMs | 大语言模型遭受的对抗性攻击》
现在随着大语言模型的流行，针对大语言模型的攻击也日渐增多。她在文章中将针对大语言模型的攻击分成了5类：
1. Token 操纵
微调输入文本的少量…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

6

2

1

1

#AI开源项目推荐：中文Mixtral-8x7B（Chinese-Mixtral-8x7B）
官方介绍：本项目基于Mistral发布的模型Mixtral-8x7B进行了中文扩词表增量预训练，希望进一步促进中文自然语言处理社区对MoE模型的研究。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

7

2

1

1

麻省理工大学最新研究发现：大语言模型确实有一种内部“空间神经元”和“时间神经元”，能理解和解释世界。

研究发现LLMs不仅仅是记忆数据，而是以一种有组织、有逻辑的方式理解数据，还学习了这些词汇和短语是如何在更大的上下文（即“世界”）中相互作用的。…
IT技术
( twitter.com)

1年前 • 小互 • -- 点击 0 评论

8

2

1

1

张江集团官方账号悄悄发了条信息：上海微电子成功研制出28纳米光刻机。
时政
( twitter.com)

1年前 • 曹山石 • -- 点击 0 评论

9

2

1

1

我在白天偷偷爱你，然后在深夜悄悄崩溃。
推特精选
( twitter.com)

2年前 • twitter机器人 • -- 点击 0 评论

0.16568 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: admin@bad.news

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特