Add Agent Memory learning pilot

2026-07-10 18:01:44 +08:00
parent 15b5cec933
commit 36c631e026
22 changed files with 1195 additions and 224 deletions
@@ -0,0 +1,154 @@
+# KC-001：Agent Memory 主题卷宗试验
+
+status: running
+date: 2026-07-10
+owner: Codex + user
+
+## 目标
+
+验证一个核心假设：相较于论文列表、摘要和图谱，把论文编译成“认知地图 + 压缩讲义 + 证据矩阵 + 主动回忆”是否更能帮助人建立可迁移、可检验的领域认知。
+
+这次不是评估某个 memory 系统，而是评估一种知识加工流程。
+
+## 为什么选 Agent Memory
+
+候选主题包括 evaluation、tool use 和 memory。最终选择 memory 的依据：
+
+- 现有语料中 `agent-memory` primary query 有 103 篇，自动 `memory` 标签约 296 篇，材料足够形成多种方法对照。
+- 已有 2 篇人工 skimmed 锚点：memory survey 和 EvoMemBench，可以作为问题框架和反例入口。
+- 主题有清晰演化链：context -> retrieval -> organization -> execution state -> procedural memory -> learned control -> governance。
+- 它与当前项目“把论文变成长期可调用认知”的目标同构，学习结果可以直接反哺系统设计。
+
+## 输入
+
+- 本地 Agent 论文库：974 篇。
+- 时间范围：现有库覆盖的最近一年。
+- 候选 memory 证据池：约 296 篇自动标签论文。
+- 本轮锚点：12 篇原始论文。
+
+## 锚点选择规则
+
+每篇论文必须承担不同的认知角色，避免堆积同类 SOTA：
+
+1. 一篇统一 taxonomy。
+2. 一篇统一 benchmark 或强反例。
+3. 一篇决策理论。
+4. 至少三种不同表示：主题文档、执行状态、程序记忆。
+5. 至少一种 learned control / credit assignment。
+6. 一篇成本与 baseline 反例。
+7. 写入可靠性和来源治理各一个代表。
+
+本轮 12 篇：
+
+| Role | arXiv | Short name |
+| --- | --- | --- |
+| taxonomy | 2603.07670 | Memory for Autonomous LLM Agents |
+| benchmark | 2605.18421 | EvoMemBench |
+| theory | 2605.10870 | DeMem |
+| procedural | 2603.15666 | Compiled Memory |
+| cross-scenario diagnosis | 2606.04315 | AutoMEM |
+| execution state | 2606.06090 | MAGE |
+| topic documents | 2606.10677 | Infini Memory |
+| organize/retrieve split | 2606.11680 | HORMA |
+| transition reliability | 2606.25161 | TrustMem |
+| credit assignment | 2605.08374 | MemQ |
+| budget control | 2606.15017 | Online Skill/Memory Budget Study |
+| provenance governance | 2605.14421 | MemLineage |
+
+## 实际流程
+
+1. 读取本地 corpus summary、reading queue、已有人工笔记和 metadata。
+2. 比较 memory、evaluation、tool use 的规模与材料成熟度。
+3. 从约 296 篇 memory 标签论文中选择 12 个互补锚点。
+4. 通过 arXiv API 校验题目、版本、作者摘要和发布日期。
+5. 下载 12 篇原始 PDF，用 `pdftotext -layout` 提取可搜索文本。
+6. 对每篇定位 introduction、method、experiment、ablation、limitation 和 conclusion。
+7. 先写跨论文问题结构，再把单篇结果放入相应位置，避免让论文目录决定讲义结构。
+8. 对所有定量主张建立证据矩阵，并同时记录不能外推的范围。
+9. 把综合认知转换成主动回忆、比较、诊断和设计题。
+10. 输出 `module.json`，为后续前端学习状态和复习调度保留结构。
+
+## 模型与工具分工
+
+本轮没有调用本地 Ollama 做高层综合。原因不是排斥小模型，而是第一版需要先建立质量基线；主题结构、证据冲突和外推边界由 Codex 直接阅读原文后整理。
+
+后续可交给本地模型的工作：
+
+- 从新增论文抽取 problem/method/benchmark/limitation 候选字段。
+- 对锚点论文做章节定位、术语归一和重复检测。
+- 基于已经确认的讲义生成低风险复习题候选。
+- 检测新论文是否挑战证据矩阵中的既有判断。
+
+仍应由强模型或 Codex 负责的工作：
+
+- 主题边界和锚点选择。
+- 跨论文因果解释与方法演化。
+- 证据强弱、实验公平性和外推边界。
+- 对讲义、测验和系统设计的最终审校。
+
+## 本轮产物
+
+- `learning/agent-memory/README.md`
+- `learning/agent-memory/knowledge-map.md`
+- `learning/agent-memory/chapter.md`
+- `learning/agent-memory/evidence-matrix.md`
+- `learning/agent-memory/active-recall.md`
+- `learning/agent-memory/module.json`
+
+## 已观察到的方法经验
+
+### 1. 自动标签适合召回，不适合直接形成知识结构
+
+`memory` 标签包含安全、RAG、GUI、推荐等大量邻近论文。它能建立证据池，但不能回答“这个主题最核心的认知冲突是什么”。第一轮必须先选角色互补的锚点。
+
+### 2. 摘要足以筛选，不足以写可信讲义
+
+摘要能说明作者想解决什么，却经常省略最重要的限定：baseline 是否公平、prompt 是否更长、结果是否来自自定义 harness、失败集中在哪个子任务。至少需要阅读实验、消融和 limitation。
+
+### 3. 先搭问题骨架，再放论文
+
+如果按论文逐篇总结，结果仍然是 12 篇摘要。先确定“状态、表示、控制、学习、治理、评估”这些问题，再让论文作为证据进入，才能形成可迁移认知。
+
+### 4. 反例和负结果是讲义主干
+
+EvoMemBench、AutoMEM 诊断和预算研究对认知的贡献不亚于新方法。它们帮助建立三条防误用规则：长上下文必须比较；schema 会造成不可恢复的信息损失；memory 开销必须与 actor budget 公平比较。
+
+### 5. 原图不是第一版的必要条件
+
+作者架构图适合解释单篇系统，但第一轮更需要跨论文统一地图。当前使用重新绘制的 Mermaid 关系图，避免让 12 套符号系统增加认知负担。后续只有在公式推导或结构细节无法重画时，再引用原图局部。
+
+### 6. 测验必须从复述走向设计
+
+只问“某论文提出了什么”测试的是标题记忆。当前题目按概念、比较诊断、系统设计三级组织；是否能为 coding agent 设计 memory，比记住 HORMA 或 MemQ 的名字更能说明掌握程度。
+
+## 目前的失败与不足
+
+- 还没有真实用户学习数据，因此不能证明 45 分钟路径有效。
+- 12 篇锚点偏 2026 年最新工作，缺少对 2023-2025 经典系统的直接精读，历史演化主要由 survey 补足。
+- 定量结果来自不同模型、benchmark 和协议，只能逐篇解释，不能横向排序。
+- 还没有把个人答案、卡点和复习历史写入系统。
+- 还没有让中控 GPT-5.5 对讲义做独立审稿，当前只有一次研究编辑视角。
+- 尚未把新模块接入现有网页。
+
+## 下一轮验证
+
+让用户按 45 分钟入口真实学习一次，并记录：
+
+- 实际花费时间。
+- 12 题第一次得分和卡点类型。
+- 哪些段落仍像论文综述，哪些确实帮助做出判断。
+- 能否闭卷解释“什么时候不应该使用 memory”。
+- 能否为自己的 Agent 画出 memory responsibility boundary。
+
+根据反馈决定第二轮重点：缩短讲义、补图、增加例子，或进入交互式学习界面。
+
+## 判定标准
+
+本试验只有满足以下条件才算 `validated`：
+
+- 用户能在不看材料时说出至少 4 个可迁移设计原则。
+- 主动回忆前 10 题达到 20/30 以上。
+- 两道设计题至少一道达到 2 分以上。
+- 一周后复习仍能恢复主要框架，而不是只记住论文名字。
+- 用户能指出至少一个讲义结论的证据边界。
+