agent/tools/collection/README.md

Collection Tools

这些脚本用于把 JD、论文和行业资料从 Markdown 笔记变成可检索、可检查、可视化的数据。

Scripts

new_item.py

生成一个带 frontmatter 的新条目草稿。

python3 tools/collection/new_item.py jobs "baidu aidu agent algorithm engineer beijing" \
  --title "Baidu AIDU Agent Algorithm Engineer" \
  --url "https://talent.baidu.com/jobs/list?projectType=3&recruitType=GRADUATE"

支持的 collection:

• jobs
• papers
• industry

build_index.py

扫描 jobs/items/、papers/items/、industry/items/ 的 frontmatter，生成结构化索引。

python3 tools/collection/build_index.py

输出：

• data/index.json
• data/summary.json

check_urls.py

检查条目中的 url、source_url、code_url 是否可访问。

python3 tools/collection/check_urls.py

可加 --json 输出机器可读结果。

Method

1. 搜索或导入资料。
2. 用 new_item.py 生成草稿。
3. 人工整理摘要、标签、判断和关联。
4. 运行 build_index.py 更新结构化数据。
5. 运行 check_urls.py 检查来源可达性。
6. 更新对应 insight 文件。