research: freeze Chat prompts and CRN runner
This commit is contained in:
@@ -2,6 +2,14 @@
|
||||
|
||||
> 状态:**已预注册,尚未运行本协议的任何生成输出**
|
||||
>
|
||||
> 预运行修订 1:实现审查后把“四条 trajectory 逐条执行”改为固定四行 batch;取样仍由
|
||||
> 每步显式共享的 `u_t` 完成。修订发生在任何 smoke / 正式输出之前,只为避免四倍重复
|
||||
> forward;finished row 的后续 PAD=EOS 与 mask=0 合同同时冻结在下文。
|
||||
>
|
||||
> 预运行修订 2:tokenizer-only 闸门发现首版 manifest 误把路由探针的短输入 hash 标成
|
||||
> Chat 生成 prompt hash。此时模型尚未加载、协议输出仍为 0。清单保留路由 hash,并新增
|
||||
> 由正式 Chat renderer 产生的 256 个 prompt hash;runner 只核验后者。
|
||||
>
|
||||
> 注册日期:2026-07-30
|
||||
>
|
||||
> 协议 ID:`llm-atlas-deepseek-chat-task-bootstrap-crn-v1`
|
||||
@@ -10,10 +18,13 @@
|
||||
> `research/DEEPSEEK_V2_LITE_CHAT_TASK_BOOTSTRAP_MANIFEST.json`
|
||||
>
|
||||
> 清单文件 SHA-256:
|
||||
> `7f5ef75f8e4bade35875e9132ea16f25f7fdb54450490e07cf1f6b2f701fceac`
|
||||
> `6313e70536c464fe598a93035576752418f08016dfd60ac246437c3b43bf2ae1`
|
||||
>
|
||||
> 清单规范内容 SHA-256:
|
||||
> `42ec988585d34ce9c2a193dd59a30a7f549d8a67b768c17098aaf3f30ca73804`
|
||||
> `d15303e18345f6dec2aaf891ba812c0a0232b86f416f8f685eabbe818249e838`
|
||||
>
|
||||
> 256 个 Chat prompt 合同 hash:
|
||||
> `7f766be54463c7f513948dd6d63a55e12b85b9220ee177361c743cd9997f6c3b`
|
||||
|
||||
## 0. 一句话说明这一轮
|
||||
|
||||
@@ -93,8 +104,9 @@ s0_eos, s1_eos, s0_period, s1_period
|
||||
- 其余 prompt token 与前序冻结模板相同;
|
||||
- 每条 prompt token hash 必须与冻结清单逐格 exact。
|
||||
|
||||
正式生成不是四行 batch。四条 trajectory 逐条执行,以避免一个条件先 EOS 后 batch
|
||||
padding / RNG 调用对其他条件产生隐式影响。
|
||||
正式生成使用固定四行 batch,行序即上述条件序。batch 内没有跨行 attention;取样不调用
|
||||
PyTorch RNG。同一行结束后,后续步追加 PAD=EOS 且该位置 attention mask 为 0,其他仍活跃
|
||||
行继续 forward。这个合同避免四倍重复 forward,也把执行形状固定下来。
|
||||
|
||||
---
|
||||
|
||||
@@ -196,7 +208,9 @@ u_t = (z_t + 0.5) / 2^64
|
||||
4. 按 token ID `0..vocab-1` 做 `torch.float32` cumulative sum;
|
||||
5. 强制最后一个 CDF 元素为 `1.0`;
|
||||
6. 将 `u_t` cast 为 `torch.float32`;
|
||||
7. `torch.searchsorted(cdf, u_t, right=False)` 取得 token ID。
|
||||
7. float32 转换若落在端点,则 clamp 到
|
||||
`torch.nextafter(0,1)` / `torch.nextafter(1,0)`;
|
||||
8. `torch.searchsorted(cdf, u_t, right=False)` 取得 token ID。
|
||||
|
||||
因此:
|
||||
|
||||
@@ -249,6 +263,7 @@ smoke 不进入正式统计。
|
||||
- 每题结束后写独立 journal;再次启动时必须核验协议、source、prompt 与输出内容 hash 后才
|
||||
能 resume;
|
||||
- journal 只用于可恢复执行,正式 JSON 由全部合格 journal 组装。
|
||||
- 四格固定同 batch;finished row 在后续步追加 PAD=EOS、对应 attention mask 为 0。
|
||||
|
||||
### 5.3 跨进程独立重放
|
||||
|
||||
|
||||
Reference in New Issue
Block a user