修改
This commit is contained in:
@@ -755,6 +755,8 @@ with open(out_csv, 'w', encoding='utf-8-sig') as fp:
|
||||
> ```
|
||||
>
|
||||
> 已踩坑:R2 augment 把 `data_clean_<N>/` 写成了 `EVAL_RUNDIC`(多 +1 一次),跳过了 R1.runDic 整段命名空间,前端 augment 卡片直接读不到。**写 augment / SFT / 归档脚本时一律用 `$SFT_RUNDIC`,不要写 `${RUNDIC}` 也不要写 `${EVAL_RUNDIC}`**。
|
||||
>
|
||||
> 🚨 **调用时序(CRITICAL)**:`resolve_run_ids.sh` **只能在当轮 CML eval 的 `lark_template.json` 已落盘之后调用**。禁止在 eval 提交前或 watcher 等待期间预先调用——此时 max workflow 仍是上一轮的值,会导致 SFT_RUNDIC 偏移 -1(已踩坑:R0 workflow17823 评测中提前 resolve 得到 17822,augment 文件全部错位)。正确时序:`cml step=complete` → `resolve_run_ids.sh` → augment/SFT。每次进入 augment/SFT 步骤前**必须重新调用**,不许复用之前缓存的值。
|
||||
|
||||
**Step A.5:label-master 预审(量级判定之前必跑,强制)**
|
||||
|
||||
@@ -1276,9 +1278,8 @@ H1 在 §4.0.1 Step A.5 已经过 label-master 推荐覆盖,这里**不再重
|
||||
|
||||
| 比例 | 处置 |
|
||||
|---|---|
|
||||
| 不通过 ≤ 5% | 自动丢弃这些样本(H2 → 从 augment_<N>.jsonl 删行;H1 → 回滚改动到 .bak)+ 写明丢弃数到 iteration_log |
|
||||
| 不通过 5%~20% | **触发 H-i-T-L #6**(gold 可疑),把不通过样本导出飞书 sheet 让人审 |
|
||||
| 不通过 > 20% | **强制暂停**,Step 4 假设本身有问题,回 Step 3 重新形成假设 |
|
||||
| 不通过 = 0 | ✅ 全量通过,允许进入 Step 5 |
|
||||
| 不通过 > 0 | ❌ **必须修正**(H2 → 修正 augment 样本后重新 review;H1 → 回滚或修正后重新 review),循环直到不通过 = 0 才能进 Step 5。禁止"自动丢弃不通过样本继续"——每条都必须过 |
|
||||
|
||||
**写完复核报告才允许进 Step 5。**verdict 文件不存在 / 没跑层 2 → Step 5 拒绝启动(5.0 的准入检查会查 `label_master_review.jsonl` 存在)。
|
||||
|
||||
@@ -1314,9 +1315,8 @@ H1 在 §4.0.1 Step A.5 已经过 label-master 推荐覆盖,这里**不再重
|
||||
REVIEW="$AUTORESEARCH_CHAT_ROOT/results/data_clean_${RUNDIC}/label_master_review.jsonl"
|
||||
[ -f "$REVIEW" ] || { echo "label-master 复核未完成,回 §4.5"; exit 1; }
|
||||
NOT_PASS=$(grep -c '"verdict":"不通过"' "$REVIEW" || echo 0)
|
||||
TOTAL=$(wc -l < "$REVIEW")
|
||||
if [ "$TOTAL" -gt 0 ] && [ $((NOT_PASS * 100 / TOTAL)) -gt 5 ]; then
|
||||
echo "不通过比例 $NOT_PASS/$TOTAL > 5%,按 §4.5 处置规则走 H-i-T-L 或回 Step 3"
|
||||
if [ "$NOT_PASS" -gt 0 ]; then
|
||||
echo "label-master 不通过 $NOT_PASS 条(要求 = 0),必须修正后重新 review 直到全 pass"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
|
||||
Reference in New Issue
Block a user