问:宝玉老师,请教一下,构建个人知识库的区别又在什么地方呢?还有微调
答:打个比方,现在你在上一门新的历史课程,知识库(专业说法叫 RAG,检索增强生成)就好比教科书,微调(Fine-tuning)就好比你学习消化了知识。
知识库就好比你的教科书,但是这门课其实你还没上过,直接就去考试,好在考试是开卷的,而且你语文历史基础很好,然后每一道题你就去现场查教科书,翻到可能的知识点位置,现场去阅读这几个知识点,把题目就给做出来。要是一时半会没查到正确的位置,你以前也没学过,可能会根据已有的知识推测,这样就可能出现幻觉,答题就不太精准。
微调就好比你把这本教科书上的知识都学了一遍、题库做了一遍,知识都学过了,考试的时候从记忆里面把知识直接搜集出来,去答题。这样好处就是答题快且专业,但如果你微调时学到的知识本身不准确或冲突,你记忆里的知识就可能出现混乱或偏差,有时反而不如直接从教科书里查阅更准确。
另外你深入学习了很多历史知识后,在面对数学等其他领域的泛化能力可能会稍微受到限制,因为你专注学习了一门课之后,精力投入其他科目的泛用能力相对减少了。
再有就是如果你的教科书很多的话,每本书都学一遍时间成本和算力成本都不低,所以微调成本明显更高,包括数据整理、训练资源(算力)和长期维护的成本都相对较大。
总结一下它们的区别:
个人知识库 = 模型外的记忆,通过动态检索实现,灵活、快速,但受限于检索效率和相关性,适合规模适中的临时问答,不修改模型本身。
个人知识库适合的场景:
- 做个人知识管理,比如个人笔记、文档、读书笔记的快速问答。
- 针对公司内部文档、手册等建立企业内知识库快速问答。
微调 = 模型内的记忆,真正内化知识,专业、精准,但数据准备和训练维护成本更高,适合对精准度要求很高或特定领域内长期稳定的任务。
微调适合的场景:
你需要模型对某一特定领域或任务更加专业化,精准度要求很高。
需要固定风格或内容的输出,比如特定企业风格、客服对话场景、创作特定风格内容。