Add industry collection and six-month job tracking

This commit is contained in:
wuyang
2026-07-08 11:25:52 +08:00
parent 1b6cc1f59a
commit 36c2499d3c
19 changed files with 550 additions and 23 deletions
+2
View File
@@ -14,6 +14,7 @@ Agent 知识可以按“问题层级”整理,而不是按资料来源堆放
| 评估 | 怎么判断 Agent 是否可靠 | 测试集、指标、观测和回归 |
| 岗位 | 市场正在要求什么 Agent 能力 | JD 笔记、技能趋势、能力缺口 |
| 论文 | 研究里哪些方法和证据值得吸收 | 阅读队列、论文笔记、研究洞察 |
| 行业 | 大公司正在怎么落地 Agent | 技术报告、工程博客、产品实践、公司趋势 |
| 资料 | 外部知识如何沉淀为判断 | 文章摘要、项目阅读、课程和文档笔记 |
## Taxonomy
@@ -60,6 +61,7 @@ Agent 知识可以按“问题层级”整理,而不是按资料来源堆放
- `incident`: 来自失败案例或线上问题
- `job`: 来自岗位要求和市场信号
- `paper`: 来自研究论文和 benchmark
- `industry`: 来自大公司技术报告、工程博客、产品发布和代码仓库
## Maturity Model
+73 -15
View File
@@ -1,6 +1,6 @@
# Collection Workflow
这个文档定义我如何帮你持续收集 JD 和论文
这个文档定义我如何帮你持续收集 JD、论文和大公司 Agent 实践资料
核心原则:先让资料稳定进入知识库,再逐步自动化;不要一开始为了自动化牺牲判断质量。
@@ -10,7 +10,7 @@
你给我链接、截图、岗位描述、论文标题或 PDF,我负责:
- 判断它应该进入 `jobs/``papers/` 还是 `references/`
- 判断它应该进入 `jobs/``papers/``industry/` 还是 `references/`
- 提取结构化 metadata。
- 建立 Markdown 笔记。
- 打标签和关联已有知识。
@@ -21,6 +21,7 @@
- 你平时看到的单条 JD。
- 朋友转来的内推信息。
- 某篇你觉得重要的论文。
- 大公司发布的 Agent 技术报告、工程博客、产品文档或代码仓库。
- 临时想整理的一批资料。
### 2. Live Web Sweep
@@ -30,10 +31,11 @@
例子:
```text
收集最近北京大厂 Agent 岗位
收集最近 6 个月北京大厂 Agent 岗位
找最近三个月 Agent evaluation 相关论文
整理 DeepSeek 和腾讯的大模型应用岗位要求
找 coding agent 方向值得读的 10 篇论文
整理 OpenAI、Anthropic、Google DeepMind 最近的 Agent 技术报告和博客
```
我会做:
@@ -42,8 +44,8 @@
2. 在线检索:优先官方来源,其次可信平台和社区线索。
3. 去重:按标题、公司、岗位、URL、日期或论文 DOI/arXiv ID 去重。
4. 记录来源:每条资料都保留 `source_url``collected_at`
5. 结构化:生成 `jobs/items/``papers/items/` 笔记。
6. 提炼判断:更新 `market-insights.md``paper-insights.md`
5. 结构化:生成 `jobs/items/``papers/items/``industry/items/` 笔记。
6. 提炼判断:更新 `market-insights.md``paper-insights.md``industry-insights.md`
7. 回流知识:标记需要更新的 `docs/``experiments/``projects/`
### 3. Batch Import
@@ -54,6 +56,7 @@
- 招聘网站搜索结果。
- arXiv 搜索结果。
- 公司博客和技术报告链接合集。
- 论文清单。
- 朋友发来的岗位合集。
@@ -69,7 +72,8 @@
- 生成搜索、筛选、时间线和标签页。
- 定期检查 JD 是否过期。
- 定期拉取论文搜索结果。
- 把 JD 技能和论文 topic 做关联图谱
- 定期检查大公司 Agent 技术博客、报告和代码发布
- 把 JD 技能、论文 topic 和行业实践做关联图谱。
## JD Collection
@@ -77,10 +81,13 @@
默认范围:
- time window: 滚动最近 6 个月,优先全量收集范围内岗位
- location: 北京
- companies: DeepSeek、腾讯、字节、阿里、百度、美团、快手、京东、小米、智谱、月之暗面
- keywords: Agent、大模型、LLM、RAG、智能体、模型评估、AI Infra、代码智能、AI 产品
JD 收集的主要目标是观察需求变化,而不是只抓最新岗位。每轮收集都要尽量保留快照,后续用同公司、同岗位、同能力标签的变化来判断趋势。
### Source Priority
1. 公司官方招聘站和官方发布。
@@ -95,6 +102,7 @@
- raw items: `jobs/items/*.md`
- trend update: `jobs/market-insights.md`
- taxonomy update: `jobs/skill-taxonomy.md`
- change notes: 同类岗位在最近 6 个月内的技能、职责、级别和业务方向变化
### JD Extraction Focus
@@ -111,7 +119,7 @@
### Example Prompt
```text
收集本周北京 DeepSeek、腾讯、字节的 Agent / LLM 应用岗位,优先官方来源,每家公司至少 3 条,如果官方不足再补招聘平台。
收集最近 6 个月北京 DeepSeek、腾讯、字节的 Agent / LLM 应用岗位,优先官方来源如果官方不足再补招聘平台和社区线索,重点分析要求变化
```
## Paper Collection
@@ -130,7 +138,11 @@
- Human-in-the-loop
- Computer use
### Source Priority
### Source Policy
论文来源需要先确认,再进入持续收集。默认我会先提出候选来源清单,由你确认为 `approved` 后再做系统性 sweep。
### Candidate Source Priority
1. 论文原始页面、arXiv、OpenReview、ACL Anthology。
2. 会议 proceedings。
@@ -163,14 +175,55 @@
找最近 6 个月 Agent evaluation 方向最值得读的论文,优先有 benchmark 或代码的,整理成 reading queue。
```
## Industry Collection
### Scope
默认收集大公司和重要 AI 团队的 Agent 工作:
- frontier labs: OpenAI、Anthropic、Google DeepMind、Microsoft、Meta、Amazon、NVIDIA
- China AI teams: DeepSeek、腾讯、字节 Seed、阿里 Qwen、百度、智谱、月之暗面
- material types: 技术报告、研究博客、工程博客、产品文档、代码仓库、benchmark、开发者大会材料
### Source Priority
1. 官方技术报告、官方研究页、官方工程博客、官方产品文档。
2. 官方 GitHub、Hugging Face、模型卡和 benchmark 页面。
3. 官方演讲、开发者大会、发布会文字稿。
4. 可信第三方深度分析,只作为线索或补充。
### Output
每轮行业资料收集输出三类东西:
- raw items: `industry/items/*.md`
- trend update: `industry/industry-insights.md`
- watchlist update: `industry/company-watchlist.md`
### Industry Extraction Focus
我会重点抽取:
- 公司正在把 Agent 用在哪些产品场景。
- 公开的架构、工具使用、记忆、评估、安全和部署信号。
- 是否有技术报告、代码、benchmark 或只是产品宣传。
- 和论文、JD、实验、项目之间的相互印证。
- 对我们知识库和项目规划的启发。
### Example Prompt
```text
收集最近 6 个月 OpenAI、Anthropic、Google DeepMind、Microsoft 的 Agent 技术报告和工程博客,按证据强度排序。
```
## Cross-linking
JD 和论文必须互相打通。
JD、论文和行业实践必须互相打通。
一个技能或概念最好能形成这样的链路:
```text
Job requirement -> Paper evidence -> Experiment validation -> Project practice -> Docs conclusion
Job requirement -> Paper evidence -> Industry practice -> Experiment validation -> Project practice -> Docs conclusion
```
例子:
@@ -179,6 +232,7 @@ Job requirement -> Paper evidence -> Experiment validation -> Project practice -
agent-evaluation
jobs: 哪些公司要求模型评估、Agent benchmark、线上观测
papers: 哪些论文定义评估方法和 benchmark
industry: 哪些公司公开了 Agent 评估、观测或安全实践
experiments: 我们能否复现实验或搭一个 eval harness
projects: 哪些项目需要这套评估能力
docs: 稳定结论沉淀到 Evaluation and Observability
@@ -193,16 +247,17 @@ agent-evaluation
- 不确定的内容标记为 `unknown``needs verification`
- 过期 JD 不删除,改状态并保留原因。
- 论文没有读完时只进入 queue,不伪装成已总结。
- 行业资料要区分技术证据和产品宣传。
## Review Rhythm
建议先用轻量节奏:
| Rhythm | JD | Papers |
| --- | --- | --- |
| Weekly | 新增岗位、明显变化 | 新论文线索、阅读队列 |
| Monthly | 市场技能趋势 | 主题研究洞察 |
| Quarterly | 能力缺口和学习路线 | 成熟结论回流 `docs/` |
| Rhythm | JD | Papers | Industry |
| --- | --- | --- | --- |
| Weekly | 最近 6 个月窗口内新增和变化 | 新论文线索、阅读队列 | 大公司新发布和技术报告 |
| Monthly | 市场技能趋势和需求变化 | 主题研究洞察 | 公司实践趋势 |
| Quarterly | 能力缺口和学习路线 | 成熟结论回流 `docs/` | 行业实践和项目规划复盘 |
## What I Need From You
@@ -212,5 +267,8 @@ agent-evaluation
- 是否只看北京。
- 是否看实习、校招、社招。
- 岗位偏工程、研究、产品还是综合。
- JD 是否只收北京,或是否包含远程/杭州/深圳等强相关岗位。
- 论文来源名单是否已经确认。
- 论文偏最新趋势、经典必读,还是能直接指导项目实现。
- 行业资料优先看哪些公司和哪些产品方向。
- 每轮希望收集多少条。