experiment: implement AttnRes forward training runner

2026-07-30 15:14:15 +08:00
parent d81aacfc68
commit 7ea91caabb
11 changed files with 17842 additions and 1 deletions
@@ -169,7 +169,9 @@ uniform。选中分支用同 dtype 的 constant-zero logits 和同一个
 - CE byte-exact；
 - activation-gradient spectrum byte-exact；
 - validation metrics byte-exact；
- selected capture weights 等于 `1/N`，max absolute error `≤ 1e-12`；
+- selected 的**归约前 weight tensor** 等于 FP32 `1/N`，max absolute error
+  `≤ 1e-12`；capture 的 `mean_weights` 因 FP32 大规模 mean 可有约 `1e-8` 的归约舍入，
+  但必须与父 learned capture summary byte-exact；
 - 若任何跨 variant byte-exact 比较失败，hard-fail；不得在结果后改成容差 gate。

 这个负控制只约束初始化；训练开始后 forward 必须允许分化。