LLM本质上是无状态的,如果你了解HTTP协议就很好理解这个概念,但是如果你没接触过这,那么可以理解成它们没有短期记忆能力,每次和LLM交互,都得把之前的对话重新喂给它。
短期记忆或者说状态管理其实很好处理,拿几组历史问答塞进prompt就行了。但是如果是长期记忆呢?
要让LLM准确提取历史信息、理解过往对话并建立信息关联,需要相当复杂的系统架构。
本文会从问题本身出发,看看构建高效记忆系统需要什么,比较不同架构方案,以及市面上有哪些开源和商业化的实现。
https://avoid.overfit.cn/post/c0f053ab35c34f5cbd24d936e08dc99f