python3 tools/collection/new_item.py jobs "baidu aidu agent algorithm engineer beijing" \
  --title "Baidu AIDU Agent Algorithm Engineer" \
  --url "https://talent.baidu.com/jobs/list?projectType=3&recruitType=GRADUATE"

支持的 collection:

jobs
papers
industry

`build_index.py`

扫描 jobs/items/、papers/items/、industry/items/ 的 frontmatter，生成结构化索引。

python3 tools/collection/build_index.py

输出：

data/index.json
data/summary.json

`check_urls.py`

检查条目中的 url、source_url、code_url 是否可访问。

python3 tools/collection/check_urls.py

可加 --json 输出机器可读结果。

`collect_arxiv.py`

用 arXiv API 批量收集最近一年 Agent 相关论文，生成 papers/items/ 条目、data/arxiv-agent-papers-*.json 入库清单和 data/arxiv-agent-candidates-*.json 全量候选清单。

python3 tools/collection/collect_arxiv.py \
  --from-date 2025-07-08 \
  --to-date 2026-07-08 \
  --max-items 180 \
  --sleep 1.0

默认策略：

多组关键词召回：LLM agent、language agent、tool use、memory、evaluation、coding agent、web/GUI agent、multi-agent、safety、RAG 等。
自动去重：按 arXiv ID 去重。
自动打标签：根据标题和摘要推断 topics。
自动分层：生成 queued 条目，后续人工精读后再升级状态。
API 退避：遇到 arXiv 429 或临时网络错误时按 --retries 和 --retry-sleep 重试。

当 export.arxiv.org API 不可用时，可以使用 arXiv 官方搜索页面后端：

python3 tools/collection/collect_arxiv.py \
  --backend search-html \
  --from-date 2026-07-09 \
  --to-date 2026-07-27 \
  --per-query 300 \
  --page-size 100 \
  --request-timeout 120 \
  --dry-run

--dry-run 不写 papers/items/，但会保存候选和选择 manifest。之后使用 promote_arxiv_manifest.py 按本地阈值入库。API 和 HTML 后端使用相同的分类、去重和 manifest schema。

Method

搜索或导入资料。
用 new_item.py 生成草稿。
人工整理摘要、标签、判断和关联。
运行 build_index.py 更新结构化数据。
运行 check_urls.py 检查来源可达性。
更新对应 insight 文件。

大规模论文扩展时，先运行 collect_arxiv.py，再运行 build_index.py。

`promote_arxiv_manifest.py`

从 collect_arxiv.py 生成的候选池里，把达到阈值的记录批量提升为 papers/items/ 条目。适合在 arXiv API 限流后继续本地调阈值。

python3 tools/collection/promote_arxiv_manifest.py \
  data/arxiv-agent-candidates-2025-07-08-to-2026-07-08.json \
  --min-score 13 \
  --relevance high \
  --output-manifest data/arxiv-agent-papers-2025-07-08-to-2026-07-08.json

默认用途：

score >= 13 且 relevance=high 的论文进入主阅读队列。
低分候选仍留在 candidate manifest，后续可以人工抽查或降低阈值再提升。