agent/experiments/knowledge-compilation/2026-07-10-agent-memory-pilot.md

KC-001：Agent Memory 主题卷宗试验

status: running date: 2026-07-10 owner: Codex + user

目标

验证一个核心假设：相较于论文列表、摘要和图谱，把论文编译成“认知地图 + 压缩讲义 + 证据矩阵 + 主动回忆”是否更能帮助人建立可迁移、可检验的领域认知。

这次不是评估某个 memory 系统，而是评估一种知识加工流程。

为什么选 Agent Memory

候选主题包括 evaluation、tool use 和 memory。最终选择 memory 的依据：

• 现有语料中 agent-memory primary query 有 103 篇，自动 memory 标签约 296 篇，材料足够形成多种方法对照。
• 已有 2 篇人工 skimmed 锚点：memory survey 和 EvoMemBench，可以作为问题框架和反例入口。
• 主题有清晰演化链：context -> retrieval -> organization -> execution state -> procedural memory -> learned control -> governance。
• 它与当前项目“把论文变成长期可调用认知”的目标同构，学习结果可以直接反哺系统设计。

输入

• 本地 Agent 论文库：974 篇。
• 时间范围：现有库覆盖的最近一年。
• 候选 memory 证据池：约 296 篇自动标签论文。
• 本轮锚点：12 篇原始论文。

锚点选择规则

每篇论文必须承担不同的认知角色，避免堆积同类 SOTA：

1. 一篇统一 taxonomy。
2. 一篇统一 benchmark 或强反例。
3. 一篇决策理论。
4. 至少三种不同表示：主题文档、执行状态、程序记忆。
5. 至少一种 learned control / credit assignment。
6. 一篇成本与 baseline 反例。
7. 写入可靠性和来源治理各一个代表。

本轮 12 篇：

Role	arXiv	Short name
taxonomy	2603.07670	Memory for Autonomous LLM Agents
benchmark	2605.18421	EvoMemBench
theory	2605.10870	DeMem
procedural	2603.15666	Compiled Memory
cross-scenario diagnosis	2606.04315	AutoMEM
execution state	2606.06090	MAGE
topic documents	2606.10677	Infini Memory
organize/retrieve split	2606.11680	HORMA
transition reliability	2606.25161	TrustMem
credit assignment	2605.08374	MemQ
budget control	2606.15017	Online Skill/Memory Budget Study
provenance governance	2605.14421	MemLineage

实际流程

1. 读取本地 corpus summary、reading queue、已有人工笔记和 metadata。
2. 比较 memory、evaluation、tool use 的规模与材料成熟度。
3. 从约 296 篇 memory 标签论文中选择 12 个互补锚点。
4. 通过 arXiv API 校验题目、版本、作者摘要和发布日期。
5. 下载 12 篇原始 PDF，用 pdftotext -layout 提取可搜索文本。
6. 对每篇定位 introduction、method、experiment、ablation、limitation 和 conclusion。
7. 先写跨论文问题结构，再把单篇结果放入相应位置，避免让论文目录决定讲义结构。
8. 对所有定量主张建立证据矩阵，并同时记录不能外推的范围。
9. 把综合认知转换成主动回忆、比较、诊断和设计题。
10. 输出 module.json，为后续前端学习状态和复习调度保留结构。

模型与工具分工

本轮没有调用本地 Ollama 做高层综合。原因不是排斥小模型，而是第一版需要先建立质量基线；主题结构、证据冲突和外推边界由 Codex 直接阅读原文后整理。

后续可交给本地模型的工作：

• 从新增论文抽取 problem/method/benchmark/limitation 候选字段。
• 对锚点论文做章节定位、术语归一和重复检测。
• 基于已经确认的讲义生成低风险复习题候选。
• 检测新论文是否挑战证据矩阵中的既有判断。

仍应由强模型或 Codex 负责的工作：

• 主题边界和锚点选择。
• 跨论文因果解释与方法演化。
• 证据强弱、实验公平性和外推边界。
• 对讲义、测验和系统设计的最终审校。

本轮产物

• learning/agent-memory/README.md
• learning/agent-memory/knowledge-map.md
• learning/agent-memory/chapter.md
• learning/agent-memory/evidence-matrix.md
• learning/agent-memory/active-recall.md
• learning/agent-memory/module.json

已观察到的方法经验

1. 自动标签适合召回，不适合直接形成知识结构

memory 标签包含安全、RAG、GUI、推荐等大量邻近论文。它能建立证据池，但不能回答“这个主题最核心的认知冲突是什么”。第一轮必须先选角色互补的锚点。

2. 摘要足以筛选，不足以写可信讲义

摘要能说明作者想解决什么，却经常省略最重要的限定：baseline 是否公平、prompt 是否更长、结果是否来自自定义 harness、失败集中在哪个子任务。至少需要阅读实验、消融和 limitation。

3. 先搭问题骨架，再放论文

如果按论文逐篇总结，结果仍然是 12 篇摘要。先确定“状态、表示、控制、学习、治理、评估”这些问题，再让论文作为证据进入，才能形成可迁移认知。

4. 反例和负结果是讲义主干

EvoMemBench、AutoMEM 诊断和预算研究对认知的贡献不亚于新方法。它们帮助建立三条防误用规则：长上下文必须比较；schema 会造成不可恢复的信息损失；memory 开销必须与 actor budget 公平比较。

5. 原图不是第一版的必要条件

作者架构图适合解释单篇系统，但第一轮更需要跨论文统一地图。当前使用重新绘制的 Mermaid 关系图，避免让 12 套符号系统增加认知负担。后续只有在公式推导或结构细节无法重画时，再引用原图局部。

6. 测验必须从复述走向设计

只问“某论文提出了什么”测试的是标题记忆。当前题目按概念、比较诊断、系统设计三级组织；是否能为 coding agent 设计 memory，比记住 HORMA 或 MemQ 的名字更能说明掌握程度。

目前的失败与不足

• 还没有真实用户学习数据，因此不能证明 45 分钟路径有效。
• 12 篇锚点偏 2026 年最新工作，缺少对 2023-2025 经典系统的直接精读，历史演化主要由 survey 补足。
• 定量结果来自不同模型、benchmark 和协议，只能逐篇解释，不能横向排序。
• 还没有把个人答案、卡点和复习历史写入系统。
• 还没有让中控 GPT-5.5 对讲义做独立审稿，当前只有一次研究编辑视角。
• 尚未把新模块接入现有网页。

下一轮验证

让用户按 45 分钟入口真实学习一次，并记录：

• 实际花费时间。
• 12 题第一次得分和卡点类型。
• 哪些段落仍像论文综述，哪些确实帮助做出判断。
• 能否闭卷解释“什么时候不应该使用 memory”。
• 能否为自己的 Agent 画出 memory responsibility boundary。

根据反馈决定第二轮重点：缩短讲义、补图、增加例子，或进入交互式学习界面。

判定标准

本试验只有满足以下条件才算 validated：

• 用户能在不看材料时说出至少 4 个可迁移设计原则。
• 主动回忆前 10 题达到 20/30 以上。
• 两道设计题至少一道达到 2 分以上。
• 一周后复习仍能恢复主要框架，而不是只记住论文名字。
• 用户能指出至少一个讲义结论的证据边界。