Initialize agent knowledge base
This commit is contained in:
@@ -0,0 +1,91 @@
|
||||
# Practice Playbook
|
||||
|
||||
## 1. Define the Task
|
||||
|
||||
先写清楚任务,而不是先写 prompt。
|
||||
|
||||
需要明确:
|
||||
|
||||
- 用户是谁?
|
||||
- 高频任务是什么?
|
||||
- 成功输出长什么样?
|
||||
- 失败成本是什么?
|
||||
- 哪些动作需要人工确认?
|
||||
- 哪些上下文必须实时获取?
|
||||
|
||||
## 2. Choose the Smallest Useful Agent
|
||||
|
||||
从最小闭环开始:
|
||||
|
||||
```text
|
||||
input -> context -> one decision -> one tool/action -> verification -> output
|
||||
```
|
||||
|
||||
只有当任务确实需要时,再加入长期记忆、多 Agent、复杂规划或自动反思。
|
||||
|
||||
## 3. Design Tool Contracts
|
||||
|
||||
每个工具都应该说明:
|
||||
|
||||
- 它做什么。
|
||||
- 它不做什么。
|
||||
- 输入字段和约束。
|
||||
- 输出结构和错误结构。
|
||||
- 是否有副作用。
|
||||
- 是否需要权限或确认。
|
||||
|
||||
## 4. Manage Context
|
||||
|
||||
上下文分三类处理:
|
||||
|
||||
| Context | Source | Strategy |
|
||||
| --- | --- | --- |
|
||||
| Task state | 当前对话、计划、工具结果 | 保持短摘要和待办 |
|
||||
| Domain knowledge | 文档、代码、业务规则 | 检索并引用来源 |
|
||||
| User preference | 历史习惯、明确指令 | 稳定保存,冲突时以当前指令为准 |
|
||||
|
||||
## 5. Add Verification
|
||||
|
||||
不要只问模型“你确定吗”。更好的验证方式:
|
||||
|
||||
- 运行测试。
|
||||
- 检查输出格式。
|
||||
- 对比预期 schema。
|
||||
- 用独立样例回放。
|
||||
- 对关键事实要求来源。
|
||||
- 对高风险动作增加人工确认。
|
||||
|
||||
## 6. Observe Runs
|
||||
|
||||
一次 Agent 运行至少应该能回答:
|
||||
|
||||
- 输入是什么?
|
||||
- 取了哪些上下文?
|
||||
- 做了哪些决策?
|
||||
- 调用了哪些工具?
|
||||
- 工具返回了什么?
|
||||
- 最后为什么停止?
|
||||
- 成本、延迟、错误在哪里?
|
||||
|
||||
## 7. Improve With Experiments
|
||||
|
||||
优化不要凭感觉。把改动写成实验:
|
||||
|
||||
- 假设:我认为某个改变会提升某个指标。
|
||||
- 变量:只改一个主要因素。
|
||||
- 数据:使用固定任务集或真实样本。
|
||||
- 指标:正确率、完成率、成本、延迟、人工改动量。
|
||||
- 决策:保留、回滚、继续实验。
|
||||
|
||||
## Project Start Checklist
|
||||
|
||||
- [ ] 写项目目标和非目标。
|
||||
- [ ] 定义核心用户旅程。
|
||||
- [ ] 列出工具和权限。
|
||||
- [ ] 定义数据和上下文来源。
|
||||
- [ ] 明确成功指标。
|
||||
- [ ] 准备最小评估集。
|
||||
- [ ] 加入 trace 和日志。
|
||||
- [ ] 设计失败和回滚路径。
|
||||
- [ ] 记录已知限制。
|
||||
|
||||
Reference in New Issue
Block a user