wuyang
54 lines
1.2 KiB
Markdown
54 lines
1.2 KiB
Markdown
# Collection Tools
|
|
|
|
这些脚本用于把 JD、论文和行业资料从 Markdown 笔记变成可检索、可检查、可视化的数据。
|
|
|
|
## Scripts
|
|
|
|
### `new_item.py`
|
|
|
|
生成一个带 frontmatter 的新条目草稿。
|
|
|
|
```bash
|
|
python3 tools/collection/new_item.py jobs "baidu aidu agent algorithm engineer beijing" \
|
|
--title "Baidu AIDU Agent Algorithm Engineer" \
|
|
--url "https://talent.baidu.com/jobs/list?projectType=3&recruitType=GRADUATE"
|
|
```
|
|
|
|
支持的 collection:
|
|
|
|
- `jobs`
|
|
- `papers`
|
|
- `industry`
|
|
|
|
### `build_index.py`
|
|
|
|
扫描 `jobs/items/`、`papers/items/`、`industry/items/` 的 frontmatter，生成结构化索引。
|
|
|
|
```bash
|
|
python3 tools/collection/build_index.py
|
|
```
|
|
|
|
输出：
|
|
|
|
- `data/index.json`
|
|
- `data/summary.json`
|
|
|
|
### `check_urls.py`
|
|
|
|
检查条目中的 `url`、`source_url`、`code_url` 是否可访问。
|
|
|
|
```bash
|
|
python3 tools/collection/check_urls.py
|
|
```
|
|
|
|
可加 `--json` 输出机器可读结果。
|
|
|
|
## Method
|
|
|
|
1. 搜索或导入资料。
|
|
2. 用 `new_item.py` 生成草稿。
|
|
3. 人工整理摘要、标签、判断和关联。
|
|
4. 运行 `build_index.py` 更新结构化数据。
|
|
5. 运行 `check_urls.py` 检查来源可达性。
|
|
6. 更新对应 insight 文件。
|