当前位置: 首页 > news >正文

[PaperReading] MemGPT: Towards LLMs as Operating Systems

目录
  • MemGPT: Towards LLMs as Operating Systems
  • TL;DR
  • Method
    • Main context
  • Experiment
  • 总结与思考
  • 相关链接

MemGPT: Towards LLMs as Operating Systems

link
时间:23.10
单位:UC Berkeley
相关领域:Agent
作者相关工作:Charles Packer
被引次数:238
项目主页:
https://research.memgpt.ai/

TL;DR

大语言模型上下文长度限制了用户多轮对话以及文档分析的需求,本文参考传统计算机操作系统中多级内存管理机制,提出MemGPT算法,能够智能地管理LLM存储的多个层级。实验证明该方法能够支持long-term交互。

Method

image

Main context

  • system instructions: 保存MemGPT control flow信息,例如,如何使用不同层级内存,使用MemGPT functions的指标 等。
  • working context: unstructured text,用来存储一些关键信息,例如,用户画像,用户偏好 等。
  • FIFO Queue: 存储历史滚动信息,第一个Key是历史所有信息的概括。
    FIFO Queue:
  1. 消息生命周期管理
  • ​​接收与写入​​
  • 持久化存储: 所有会话信息将永久性地写入外部的“回忆存储”(Recall Storage)。
  • 检索与重载​​:当LLM通过函数调用(如搜索)从回忆存储中检索历史消息时,这些消息会被重新载入FIFO队列中。
  1. 上下文溢出控制
  • 警告:队列填充达到70%时,警告MemGPT及时将重要工作归档。
  • 驱逐:队列填充达到70%时,执行强制性的​​队列刷新(Flushing)​​ 操作,从队列​​头部​​(最旧的消息)开始​​驱逐一定数量的消息​​。
  • 递归摘要生成:从现有的递归摘要​​(存储在FIFO队列的第一个索引中)和​​本次被驱逐的消息​​,生成一个​​新的、更精简的递归摘要​​。

Q:图3中的Archival Storage与Recall Storage有什么区别?

  • ​​Archival Storage​​ 像一个​​主动搜集的研究资料库​​,用于存储LLM​​主动选择​​的、与任务相关的原始信息片段。
  • Recall Storage​​ 像一个​​被动记录的完整对话日志​​,用于​​自动记录​​所有发生过的交互的完整历史。

Experiment

评估的考查维度:

  • Consistency: 多轮对话前后一致性;
  • Engagement: Agent长期应当给用户提供个性化的回答;
    测试集:Multi-Session Chat (MSC) dataset

image
image

总结与思考

参考操作系统内存管理设计,但整体框架依然偏策略,不知道后续有没有 基于RL更新Agent中LLM 或者 端到端Agent的方法。

相关链接

cool paper链接:https://papers.cool/
https://zhuanlan.zhihu.com/p/711289611

http://www.hskmm.com/?act=detail&tid=14901

相关文章:

  • 总线的性能指标
  • VoxCPM:新一代高拟真语音生成模型
  • Day20封装的初步认识
  • 完整教程:数据结构与算法-树和二叉树-二叉树的存储结构(Binary Tree)
  • 工业相机与镜头靶面尺寸的关系:从原理到选型的避坑指南 - 教程
  • Security Onion Solution
  • 时序数据库 TimechoDB V2.0.6 发布 | 新增查询写回、黑白名单等功能
  • Python精品任务-基于python的个性化音乐推荐架构的设计与实现(源码+LW+部署文档+全bao+远程调试+代码讲解等)
  • 第二篇
  • 实用指南:网站抓包怎么做?(网站抓包教程 HTTPS 抓包 浏览器抓包 服务器端流量分析 网站安全与调试)
  • EasyDSS “进度条预览”黑科技,如何重塑视频点播的交互体验?
  • 2025 年在线 Excel 协作工具:纯前端架构引领协作范式革新
  • AI重塑招聘:从筛简历到做决策,HR如何借技术提效35%?
  • 大屏适配不同分辨率
  • 直播点播之外,EasyDSS如何开辟“实时协作”第三极?它的会议功能,远比你想象的强大
  • 抖音视频关键词批量下载工具分享|分享痛点|
  • HarmonyOS动态照片,简易环境助力高效开发
  • 二叉树专题
  • IT项目管理主要做什么?-ManageEngine卓豪
  • 9.22学习笔记
  • Django 视图层
  • Kettle: pentaho-server-9.4登录问题
  • Win11/Win10/Office 永久激活
  • 列表
  • springboot~获取原注解的方法findMergedAnnotation使用场景
  • Catalan数(卡特兰数)
  • IvorySQL文档共建计划第一期!提 PR,提 Issue,赢取 Beats 耳机、机械键盘、书籍等多重好礼!
  • ubuntu22.04 安装xrdp
  • 题解:P14058 【MX-X21-T3】[IAMOI R5] 两个人的演唱会
  • 深入解析Wallarm安全边缘:API边缘的即时防护技术