2
1
0
转译：一种全新的 RAG 方法让文档理解更上一层楼
RAG 技术已经迅速成为在实际应用中部署大型语言模型（LLMs）的首选方式。但大部分现有技术仍面临一个局限：它们只能从文档中检索到一小段连续的文本，这限制了对整个文档上下文全面理解的能力。
现有一种创新方法，名为…
IT技术
(
twitter.com
)
由
宝玉
提交
转译：一种全新的 RAG 方法让文档理解更上一层楼
RAG 技术已经迅速成为在实际应用中部署大型语言模型（LLMs）的首选方式。但大部分现有技术仍面临一个局限：它们只能从文档中检索到一小段连续的文本，这限制了对整个文档上下文全面理解的能力。
现有一种创新方法，名为 RAPTOR（递归抽象处理树形组织检索），它通过递归地嵌入、聚类并总结文本段落，从底层到顶层构建出一个分层次总结的树状结构。
在使用这个模型进行推理时，RAPTOR 能够从这棵树中提取信息，实现对长文档不同层次抽象信息的整合。
通过实验对比，我们发现，相较于传统的检索增强语言模型，RAPTOR 通过递归总结的检索方式在多个任务上都取得了显著的进步。
特别是在需要复杂多步推理的问答任务中，结合 RAPTOR 的检索功能和 GPT-4 的强大能力，我们在 QuALITY 基准测试上的表现提高了20个百分点，达到了新的最佳水平。
未来，我们期待出现更多类似 RAPTOR 这样的方法，进一步深化对文档的理解并优化 RAG 技术。RAPTOR 的优势在于它专注于改善检索部分，而不是像其他方法那样，通过添加噪声或引入网络搜索结果来调整上下文。
论文：https://t.co/u7FAGyeeqC
点击图片查看原图
Markdown支持
评论加载中...
您可能感兴趣的：
更多
1
2
1
1
2
2
1
1
3
2
1
1
4
2
1
1
5
2
1
1
6
2
1
1
7
2
1
1
8
2
1
1
