Expand arXiv paper corpus

tools/collection/README.md

@@ -43,6 +43,26 @@ python3 tools/collection/check_urls.py
 
 可加 `--json` 输出机器可读结果。
 
+### `collect_arxiv.py`
+
+用 arXiv API 批量收集最近一年 Agent 相关论文，生成 `papers/items/` 条目、`data/arxiv-agent-papers-*.json` 入库清单和 `data/arxiv-agent-candidates-*.json` 全量候选清单。
+
+```bash
+python3 tools/collection/collect_arxiv.py \
+  --from-date 2025-07-08 \
+  --to-date 2026-07-08 \
+  --max-items 180 \
+  --sleep 1.0
+```
+
+默认策略：
+
+- 多组关键词召回：LLM agent、language agent、tool use、memory、evaluation、coding agent、web/GUI agent、multi-agent、safety、RAG 等。
+- 自动去重：按 arXiv ID 去重。
+- 自动打标签：根据标题和摘要推断 topics。
+- 自动分层：生成 `queued` 条目，后续人工精读后再升级状态。
+- API 退避：遇到 arXiv 429 或临时网络错误时按 `--retries` 和 `--retry-sleep` 重试。
+
 ## Method
 
 1. 搜索或导入资料。
@@ -51,3 +71,22 @@ python3 tools/collection/check_urls.py
 4. 运行 `build_index.py` 更新结构化数据。
 5. 运行 `check_urls.py` 检查来源可达性。
 6. 更新对应 insight 文件。
+
+大规模论文扩展时，先运行 `collect_arxiv.py`，再运行 `build_index.py`。
+
+### `promote_arxiv_manifest.py`
+
+从 `collect_arxiv.py` 生成的候选池里，把达到阈值的记录批量提升为 `papers/items/` 条目。适合在 arXiv API 限流后继续本地调阈值。
+
+```bash
+python3 tools/collection/promote_arxiv_manifest.py \
+  data/arxiv-agent-candidates-2025-07-08-to-2026-07-08.json \
+  --min-score 13 \
+  --relevance high \
+  --output-manifest data/arxiv-agent-papers-2025-07-08-to-2026-07-08.json
+```
+
+默认用途：
+
+- `score >= 13` 且 `relevance=high` 的论文进入主阅读队列。
+- 低分候选仍留在 candidate manifest，后续可以人工抽查或降低阈值再提升。