# 一条维基百科词条的缓存80GB，一个70B模型才100GB：把记忆练进权重，token省百倍

> Training Data No. 99 中文精读

- 原标题：Memory and Continual Learning: Engram's Dan Biderman and Jessy Lin
- 发布日期：2026-06-24
- 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等
- 网页版：https://trainingdata.qiaomu.ai/ep/099-memory-and-continual-learning-engram-s-dan-biderman-and-jess-aiR7F4.html
- 精读字数：约 6009 字（阅读约 13 分钟）

> 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

红杉播客 Training Data 最近的一期节目里，Engram 联合创始人 Dan Biderman 算了一笔账：让模型读一条维基百科词条，比如泰勒·斯威夫特的人物介绍，KV 缓存要占掉大约 80GB 的 HBM 显存；而一个 70B 参数的 LLaMA 模型，全部权重加起来也就 100GB 上下，却以有损压缩的方式装下了整个互联网。

同样是装知识，两种介质的效率差了好几个数量级。这笔账背后，是 Engram 的全部业务逻辑：**上下文是极其昂贵的记忆介质，权重才是便宜的**。这家公司孵化自 Neo Lab，做的记忆与持续学习正是当下 AI 研究最热的两个方向。两位创始人 Dan Biderman 和 Jessy Lin 在节目里，把「外挂记忆为什么走不远」「把知识练进权重能换来什么」讲得相当透。

## 「我们的模型一直在训练」

先说人。Dan 出身神经科学，最早关心的是意识和人类心智，爱引用心理学家 Amos Tversky 的那句自嘲：我不研究人工智能，我研究人类的天然愚蠢。后来他转向统计和 AI，发现记忆和持续学习在机器这边同样紧迫，而现有方案离生物的解法差得很远。人脑在容量受限的条件下进化出模糊表征，能抽象、能联想、能影响第二天的判断，现在的系统除了通用预训练，没有这种东西。Jessy 有认知计算科学的背景，她给这个方向的定义很简洁：**让模型学会新东西，并且深深烙进权重里。记忆和持续学习，就是这枚硬币的两面**。

Engram 官网有句话：我们不从预训练或后训练的视角看世界，我们的模型一直在训练。Jessy 解释说，现在的模型已经很聪明，瓶颈早就越过了原始智力这一关，卡在理解新的、不断变化的上下文上：一个新任务、一家公司的做事方式、团队的优先级。预训练和后训练能把「法国首都是巴黎」「怎么写 Python」深深烤进权重，却没有机制让模型同样深地学会一家公司的招聘流程。

> 「预训练和后训练里到底是什么，让模型能以这些神奇的方式泛化？怎么控制这个过程，让一家公司的私有数据也被学得一样好？」

她认为这是当下最值得啃的问题。模型从预训练里「顺便」学会了那么多东西，互联网像一份天赐的礼物，没人真正说得清为什么。把持续学习做出来，等于把这份运气变成可复制的工艺。

那业界现在怎么解？上下文工程：提示词越写越长，agent 连跑几十个小时，反复整理上下文。Jessy 承认工具调用和上下文工程会一直有用，但她觉得有样东西被严重低估了：**把 frontier lab 训练模型的那套流水线，搬到每家公司自己的数据上**。frontier lab 用它把模型练到会做前沿数学、会写代码，同一套方法也能让模型学会你的领域。

Dan 打了个比方：人靠便签和笔记本能记住很多事，这很有价值，永远该留着。但第二天回到工作，脑子里总有昨天的痕迹，有一种「事情大概该怎么做」的直觉。现在的方案全是外置记忆，只有便签，没有直觉。他给了一个数字：很快，每个人每天产生的 token 会到数千万量级。只靠存下来、搜出来、再读一遍，又贵，模型也容易被绕晕。

## 给每个团队训一个专属模型

产品形态说穿了不复杂。Engram 和 Notion、微软、Harvey 这类产品合作，在人们长期办公的工作区里，为每个团队训练专属模型。训练素材有两类：团队已经写下的文档，加上人和 agent 的日常交互与反馈。目标是让模型像一位干了多年的老员工那样理解这家公司：知道公司在推什么、事情该怎么做，每次推理不用再现场读一遍文件。

技术路线上，他们大量使用各种 adapter 微调，LoRA、prefix、稀疏架构都在工具箱里，这条路学术界已经铺了十几年。更难的一步是数据：怎么把原始文档和交互变成有效的训练信号。监督微调、强化学习、on-policy 蒸馏，frontier lab 的武器都被他们拿来拼装。前提是拿到白盒权重，闭源模型可以谈合作，开源模型最顺手。Dan 说得干脆：**只要是 transformer 架构，他们都能动手**。

这笔投入换来什么？Dan 给了两层回报。第一层是省 token：不用反复读文件，不用维护巨型系统提示词，推理消耗能降两个数量级，他的原话说得很满，可以到 100 倍。很多关于人、团队、优先级的知识，本来就散落在任何一份文档里都找不到，模型通过训练隐式学会之后，100 个 token 就能答完 frontier 模型要烧 10 万 token 才能答的题。

第二层是能力窗口。总有一批任务，当下的 frontier 模型还不擅长，这个窗口期大概三到六个月。模型迟早会变强，但轻量训练能让团队在这三到六个月里提前拿到这部分能力。

为什么从团队级别切入，先不做个人版？Dan 说两者都行，团队的数据更规整、多年积累更有纪律，容易起步。每个人的电脑和手机早晚都是目标，只是现在，信息的大矿藏在知识工作者的协作里。

## 死记硬背是 bug 吗

主持人 Sonya Huang 抛了一个老争论：模型把「法国首都是巴黎」死记在权重里，算缺陷还是功能？有一派认为模型应该抽象地学会「国家」「首都」这些概念，别浪费容量记事实。

Jessy 的回答分两层。第一层，一定程度的记忆是思考的原材料，得先记住东西，才能把它们组合成更复杂的概念。第二层，真正稀缺的能力是分辨什么值得记。她拿学术基准开刀：不少基准在考「某个非洲国家某座桥的长度」，这种事实不值得模型花容量，人类也不会为它分配容量。**人类记忆是有损的，这恰恰是智能的一部分：压缩重要的，丢掉不重要的**。

所以她认为，把「事实学习」和「技能学习」切开是个伪命题。有人试过把模型里的所有事实剥掉，只留所谓的纯推理内核，结果模型变得很不自然，连基本常识都没有。推理的每一步都要调用基本事实，脑子里没货，思考走不远。

Dan 补了一个计算机科学的视角。传统 CS 里，数据库和算法是两门课：数据库管存事实、查事实，算法管高效地操作信息。深度学习的魔法在于把这两件事搅在了一起，以至于现在要靠 Anthropic 的可解释性团队去把它们重新拆开。

他观察到，AI 进入经济的当下，这两样东西正在再次分开：公司小心翼翼地管理自己的上下文，一个对这些上下文完全陌生的通用模型在上面操作。Engram 押的是相反的方向：**事实、故事、细节，应该按某种节奏重新混回模型里**。代价他也认：国家首都很少变，很多别的事实天天在变，往权重里烙易变的信息，技术上很棘手。

节目里还有一段关于梦的讨论。Jessy 说他们从梦得到的启发很宽泛：现在的模型所有思考都发生在推理时，拿到上下文现场想，缺一个「把上下文深度内化」的阶段。Dan 的说法更有画面感：梦里我们在自言自语，在试探这个世界和社会场景里什么做得到、什么做不到。他们想给模型同样的东西，让它从交互中退出来，有时间去环境里试探自己的能力边界。听着玄，本质是离线消化经验。

## 为什么这事轮不到 frontier lab 优先做

红杉合伙人 Shaun Maguire 问得很直接：凭什么这个终局产品轮得到你们，却轮不到 foundation model lab？

Jessy 的答案是世界观差异。frontier lab 想要一个越来越大的模型，在越来越多领域越来越聪明。Engram 想象的世界是**每个人都有自己的模型**。人们想让模型学的东西，要么是私密的，永远不会出现在任何后训练数据集里；要么是互相冲突的，这家公司要这么做，那家公司要那么做。这些东西大多没有干净的监督信号，没有标准答案的奖励，现实世界的任务很模糊。这和 frontier lab 训练代码模型的那套打法，干净监督、真值奖励、搭好环境，完全是两回事。

Dan 补了优先级的账。frontier lab 的 P0 是 AGI：更大的预训练、更多的数据、更多的 RL、更多的推理时算力，绝大部分钱和人才压在这上面。记忆和持续学习他们也都在想，但目前更像产品侧的活。他提到，Demis Hassabis 大约一个月前在红杉的活动上明确说过，这些话题需要新的突破。Engram 的选择是只做这一件事。

Jessy 把需要改变的东西列了三条：研究上要有新突破；基础设施上，要能为每个人训练小模型，告别一次一次的巨型训练；研究和产品的结合方式也要变。现在 frontier lab 的分工是研究员训完模型，扔过墙给产品团队，产品团队在上面做提示词和上下文工程。**如果模型一直在训练，用户的输入就是训练信号本身，研究和产品必须长在一个环里**。所以 Engram 一边做核心研究，一边急着部署，从真实反馈里学。

Dan 眼中还有个大机会：能大规模地从很多人类和组织那里学习，不用派人贴身驻场，会是一个巨大的解锁。

他还给过一个思想实验：假如 OpenAI 一周后要参加数学奥林匹克，他们会去建一个教科书目录、雇人标注该读哪几章吗？大概率还是会收集数据、合成训练集、起一个训练任务，五六天后看模型落在哪。**训过模型的人都知道，训练才是跨领域整合知识和能力的更优解**。这种魔法如今只属于少数实验室，他们想让更多人用上。

## RAG killer 和那笔 80GB 的账

聊到客户想要什么，Dan 说了句得罪人的话：这东西某种意义上是个 RAG killer。他马上补了句圆场：RAG 当然还能用，检索永远都在。客户真正感兴趣的是，用很轻量的训练，让模型对本该知道的事情形成直觉，不用再跑那种冗长的工具调用循环。

Sonya 追问：到底什么该进权重，什么该留给 RAG？Dan 的回答很诚实：这是个未解问题，没人有答案，这本身就是生物记忆的核心问题。他给了两个例子：一年前往过的酒店房间号，不该内化，记在备忘录里就行；家门密码，未来几年都用得上，值得烙在某个地方。Engram 的做法是尽量少上人工规则。人天天刷 TikTok，暴露在一堆垃圾信息里，大脑照样不会学歪，他们认为模型也该有这个鲁棒性。

Jessy 从短期痛点切入：现在大家最头疼的是 agent 连跑好几天的推理成本。同一家公司里，不同的人对同样的文档反复跑同样的查询，这种事应该变成模型的常识。

> 「你问一个员工昨天在做什么，他不会先在搜索框里输入『我昨天在干嘛』，他就是知道。」

缓存能不能解决这个问题？部分能。但 Jessy 指出，权重里才有一样东西：联想。看到同事在做某个方向的研究，想起一件相关的、对方没问的事。这种联想没法靠「你让我搜什么我就搜什么」实现。Dan 补了检索系统更根本的局限：问题往往出在另一头，知道去查什么。**知道该搜什么是一种直觉，这种直觉长在权重里**。何况很多系统还停留在关键词搜索，因为它最好做 RL、对基础设施要求最低。

然后就是开头那笔账。这家公司的起点，就是两人对 KV 缓存的一次深潜。一条维基百科词条，几十 KB 的文本，进了 KV 缓存变成 80GB 的「脑状态」；一个 70B 模型的全部权重 100GB 左右，装着整个互联网。梯度下降已经用事实证明，它能把大量信息塞进很少的数字里。Dan 的设想：把那 80GB 拿下来，离线花点算力压缩，让缓存里的东西缩小 1000 倍，加载速度、成本、表示精度都会被改写。

## 苦涩的教训、记忆钱包和五年之后

Shaun 问了一个 bitter lesson 式的问题：智能需要的每个部件，会不会在算力和数据的堆叠里自动涌现，包括记忆？Dan 的回答分两层。部署层面，现在的 AI 早就超出 GPU 了，沙盒在爆炸式增长，模型在别的电脑上干活。架构层面，他参与过状态空间模型这一系的实验，结论很冷静：这些架构省的是计算机意义上的内存，把注意力随序列长度平方增长的开销降下来，一些最好的中国模型也用上了这类层。但在他们的实验里，**省内存总是以牺牲精度为代价，没有免费午餐**。

真信苦涩的教训，该想的是怎么烧更多算力，烧在没见过的新上下文上。他们不赌 AGI 会停在半路，只是认为理解一个具体的人、一家具体的公司，光靠重读文件不够。Dan 顺口开了个玩笑：要理解 Shaun，得训一个 100 万亿参数的模型。

Shaun 后来分享了一个他自嘲很不靠谱的理论，解释语言为什么反超了视觉：生物层面，眼睛的光学带宽比声音高好几个数量级，光信号进大脑前还有大量预处理；计算机里一切都是电子信号，视觉被削弱，语言被扶正，两者被拉到同一条起跑线，LLM 恰好是更适合语言的架构。Dan 当年也觉得语言太「高级」，视觉加行动才是正途，ChatGPT 时刻之后他去 Mosaic ML 做了一阵 NLP，看看香肠是怎么造的。他没有正面反驳 Shaun，只给了一个神经科学的注脚：人脑分给视觉的地盘大概率比语言区大，但大脑偏爱一个模态，和机器做这件事的效率是两码事。他还自嘲：刚才那个脑区问题记不准，得问 ChatGPT，自己生活里是个坚定的 RAG 用户。

关于产品形态，Sonya 问会不会出现「记忆钱包」，像 token 钱包一样带着走。Jessy 的答案出乎意料地保守：她连 ChatGPT 的记忆跨场景都觉得难受，工作模型上周在 GPU 上训了个东西，购物推荐就给她推 GPU 相关的床单，完全不搭界。**不同工具里的记忆就该分开，人要有控制权**。

Dan 给的远期版本更诱人：上班烧掉海量 token 创造价值，知识产权留给公司，但你学到的技能、发明的方法，有一部分能以脱敏的方式带去下一份工作。就像现在我们本来就带着技能跳槽，靠 NDA 和职业伦理划边界。数字世界里真能这样，会逼着每个人把 AI 用得更深，并且因此得到回报。

至于「记忆的 ChatGPT 时刻」什么时候来，Jessy 的答案是一个实习生式的场景：一个你能持续教、并且真的在变好的实习生。不管上下文工程做得多精致，都到不了那里。到那天，体感会很直接：模型比昨天聪明了。

Dan 补了一盆冷水：ChatGPT 的爆红当年没人预测到，今天一个人就算辞职全职给模型做上下文工程，能撬动的提升也很有限，不如等下一版模型。他们想要的未来是，**你在一个领域花的时间，真能兑换成模型在你关心的任务上的表现**。前提是大规模在私有数据上训练，还不把模型练坏，这很难。

五年到十年后是什么样？Jessy 说的是一个「人人都拥有自己模型」的世界，每个人的模型和别人都不一样，和 frontier 模型也不一样，各自服务不同的目的。Dan 的版本更野心勃勃。他说神经科学里记忆和导航共享同一批脑区，表征空间地标的电路也管情景记忆。Engram 想成为所有人数据平面上的 LLM 接口，对标 Databricks 和 Oracle 那样的位置，只不过存的东西是神经记忆，模型是个性化的，数量以亿计。**它不表示文件系统本身，它表示文件系统的脑状态**。

这期节目听完，有三件事明天就能用上。

- 盘 token 账：看看你的 agent 或工作流里，哪些内容每次推理都在重复读，公司背景、团队规范、项目优先级。这类重复就是权重化的候选，Dan 给的参照系是能省两个数量级。
- 用「酒店房间号还是家门密码」给知识分类：天天变的价格、库存、排班，留在检索里；变化慢、每次都要用、散落在无数文档里的东西，才是练进权重的对象。检验方法用 Jessy 那句话：把一个新员工应该「就是知道」的东西列出来。
- 自己动手的话，开源权重模型加 LoRA 这类 adapter 微调是当下成本最低的实验路径。这也提醒选型的人：权重是否开放，正在变成和效果同级别重要的选项。