Collect first agent research and market sources

2026-07-08 12:08:24 +08:00
parent 36c2499d3c
commit 1cbc98e432
34 changed files with 3417 additions and 58 deletions
@@ -0,0 +1,53 @@
+# Collection Tools
+
+这些脚本用于把 JD、论文和行业资料从 Markdown 笔记变成可检索、可检查、可视化的数据。
+
+## Scripts
+
+### `new_item.py`
+
+生成一个带 frontmatter 的新条目草稿。
+
+```bash
+python3 tools/collection/new_item.py jobs "baidu aidu agent algorithm engineer beijing" \
+  --title "Baidu AIDU Agent Algorithm Engineer" \
+  --url "https://talent.baidu.com/jobs/list?projectType=3&recruitType=GRADUATE"
+```
+
+支持的 collection:
+
+- `jobs`
+- `papers`
+- `industry`
+
+### `build_index.py`
+
+扫描 `jobs/items/`、`papers/items/`、`industry/items/` 的 frontmatter，生成结构化索引。
+
+```bash
+python3 tools/collection/build_index.py
+```
+
+输出：
+
+- `data/index.json`
+- `data/summary.json`
+
+### `check_urls.py`
+
+检查条目中的 `url`、`source_url`、`code_url` 是否可访问。
+
+```bash
+python3 tools/collection/check_urls.py
+```
+
+可加 `--json` 输出机器可读结果。
+
+## Method
+
+1. 搜索或导入资料。
+2. 用 `new_item.py` 生成草稿。
+3. 人工整理摘要、标签、判断和关联。
+4. 运行 `build_index.py` 更新结构化数据。
+5. 运行 `check_urls.py` 检查来源可达性。
+6. 更新对应 insight 文件。