feat: factor DeepSeek boundary and role blocks

2026-07-29 21:42:07 +08:00
parent 8cebb8cb30
commit 1d0a331e06
21 changed files with 8060293 additions and 33 deletions
@@ -14,7 +14,7 @@
 | 表示、位置与残差高速公路 | 完成首版 | 81% | 真实 hidden-state / norm traces、长上下文位置外推与深层稳定性消融 |
 | Scaling Laws | 完成首版 | 74% | 真实拟合复现、置信区间与更多模型族对照 |
 | 数据工程与预训练配方 | 完成首版 | 73% | FineWeb / DCLM 逐图精读、真实去重误伤与 mixture traces |
-| DeepSeek 专题 | 三轮实证进行中 | 97% | special-token family 与完整两-token 角色块、V2-Lite-Chat 行为、完整 27 层与固定 batch-content 对照，再推进 SM90 FlashMLA、FP8/pipeline 与 R1-like RL 复现 |
+| DeepSeek 专题 | 三轮实证进行中 | 98% | V2-Lite-Chat 生成/行为对照、完整 27 层与固定 batch-content 对照，再推进 SM90 FlashMLA、FP8/pipeline 与 R1-like RL 复现 |
 | 指令微调与人类偏好 | 完成首版 | 75% | 真实偏好分歧、RM 长度偏置与 PPO/DPO 小模型复现 |
 | 推理与测试时扩展 | 完成首版 | 76% | 真实模型采样曲线、PRM 案例与逐篇图表精读 |
 | 工具使用与长程 Agent | 完成首版 | 74% | 真实环境 traces、cross-harness 对照、Agent RL 曲线与安全案例 |
@@ -41,7 +41,7 @@
 - [x] 完成 486 篇关键论文索引，覆盖 16 个标签专题与 Kimi/DeepSeek 聚光主线。
 - [x] 完成可检索、可按专题筛选的论文库页面。
 - [x] 完成 K3、语言模型前史、Transformer 基础、表示/位置/残差、DeepSeek 谱系、Scaling Laws、数据工程、长上下文、MoE、指令微调与人类偏好、推理、Agent、原生多模态、训练系统、推理服务、数值优化与评测安全十七篇首版长文。
- [x] 完成 K3 三轴架构、八联报告实验与四联开放工件实验、语言模型前史四联实验、Transformer 四联实验、表示深度四联实验、DeepSeek 十五联实验、长上下文、MoE 路由、推理三页签，以及训练系统、推理服务、Scaling、数据工程、数值、Alignment、Agent、原生多模态与评测安全专题各四页签等八十二个原创交互视图。
+- [x] 完成 K3 三轴架构、八联报告实验与四联开放工件实验、语言模型前史四联实验、Transformer 四联实验、表示深度四联实验、DeepSeek 十七联实验、长上下文、MoE 路由、推理三页签，以及训练系统、推理服务、Scaling、数据工程、数值、Alignment、Agent、原生多模态与评测安全专题各四页签等八十四个原创交互视图。
 - [x] 完成长上下文首版：五张成本账、26 篇一手论文、10+ 机制图与 8 策略交互实验室。
 - [x] 核验 FlashAttention、DeepSeek-V2/V3.2/V4、Kimi Linear/K3 等六份论文原文，并建立长上下文研究账本。
 - [x] 核验 Switch、ST-MoE、DeepSeekMoE、Loss-Free、V3、LatentMoE 与 K3 原文，并建立 MoE 研究账本。
@@ -224,11 +224,20 @@
 - [x] 跨实验 BF16 batch-content 审计：当前 official 与上一轮 EOS 条件 256 / 256 token-ID hashes exact，Layer 1 target route hash 256 / 256 exact，但 L2–L6 随 companion rows 改变而分化；正式结论只使用本轮八格组内比较，不把相同 batch shape 误写成相同数值执行。
 - [x] 角色词头里程碑本地闸门通过：71 个 Astro 文件零诊断、21 个页面、1,151 个站内引用、12 个跨页锚点零失败；十一页签桌面与 390px 移动端无运行时异常或文档级横向溢出，十六套真实 Chrome 回归全部通过。
 - [x] DeepSeek 角色词头单 token 控制以源提交 `ea49ed0`、不可变镜像 `20260729T124516Z-ea49ed0` 发布；OCI digest `sha256:fa8910ee…0c0bf`，复用 NAS `12010→8080`、NPM host 31 / cert 41、门户 `LLM ATLAS / projects / 180`，十六套生产 Chrome 回归全通过；保留 `20260729T120248Z-f4d4a05` 回滚。
+- [x] 特殊 token 家族控制核清固定 tokenizer 的完整库存：`all_special_ids=[100000,100001]`，BOS/EOS 为 2 / 2 全枚举，PAD 与 EOS 共用 ID；`x` / 句点只作为两个选定普通对照，不把四 ID 的 2-vs-2 描述性汇总冒充总体类别推断。
+- [x] 特殊 token 八格固定同一 128-source / 23-content-token cohort、重复词元历史、角色块、长度、目标位置、mask 与 32-row batch；256 / 256 official 零改动、768 / 768 counterfactual 恰好一 ID。目标内容 system-edge TV 均值为 EOS `.037518`、BOS `.048018`、x `.053975`、句点 `.055289`；BOS−EOS 为 22↑2↓，两个普通对照相对 EOS 均为 24↑0↓。
+- [x] 特殊 token 四 ID 的 selected-ordinary mean − complete-special mean 为 `+.011864`，24 / 24 点估计为正、20 个 paired CI 全正；该数字永久标为四 ID 描述性结果。BOS direct S1−S0、ΔCV 与 full-input 方向更混合，主结论只落在精确对齐目标内容。
+- [x] 特殊 token 正式运行与独立复跑各 54,440,827 bytes、SHA-256 均为 `c372c1b0…4af5bf`，byte-exact；新增 2,044,224 次真实路由，使累计达到 9,245,520 次。跨上一轮共享三水平 token 合同 768 / 768 exact，L1 route 全 exact，L2–L6 随 companion rows 分化。
+- [x] 完整角色块把 `User:` / `Assistant:` 还原成 `[head, delimiter]` 两个普通 IDs：在 system 0/1 × head User/Assistant × delimiter `:`/`x` 八格中固定官方 EOS、generation suffix、长度、目标位置与 batch；256 个零改动、512 个单 ID 与 256 个双 ID edit contract 全 exact。
+- [x] 完整角色块目标内容 system-edge TV 四条件均值为 `.037304/.037015/.037239/.036220`；head main、delimiter main、interaction 分别为 `−.000654/−.000430/−.000729`，绝大多数 paired CI 跨零且出现方向相反的局部单元，不支持统一 system 调制。
+- [x] 四条直接因子边均非零；`head@x − head@colon` 在 S0/S1 跨 24 格均值为 `−.003673/−.001960`，多数格说明单个 `x` 对照会略微缩小 User-vs-Assistant direct TV，但 system DiD 混合，不泛化成标点或角色语义。
+- [x] 完整角色块正式运行与独立复跑各 66,975,110 bytes、SHA-256 均为 `a703dddb…7e82`，byte-exact；新增 2,044,224 次真实路由，使累计达到 11,289,744 次。两组 compact 产物分别约 1.4 / 3.3 MiB，累计正式实验集达到 10 / 10 byte-exact。
+- [x] special family + 完整角色块本地闸门通过：73 个 Astro 文件零诊断，21 个页面、1,151 个站内引用、12 个跨页锚点零失败；十三页签桌面与 390px 移动端无运行时异常或文档级横向溢出，十六套真实 Chrome 专题回归全部通过。

 ## 正在进行

 - [ ] K3 三轮下一闸门：获得真实 token hidden states、expert load 与 cache traces，解释或修订 `A_log [128]` 工件冲突，再做 Figure 3/4/5 数值重绘和独立小模型复现。
- [ ] DeepSeek 三轮下一闸门：控制 special-token family 与完整 `User:` / `Assistant:` 两-token 角色块，加入 V2-Lite-Chat 生成/行为对照；扩到完整 27 层并固定 batch content 审计，再推进 SM90 FlashMLA、FP8 / pipeline traces 与 R1-like RL 小模型复现。
+- [ ] DeepSeek 三轮下一闸门：加入 V2-Lite-Chat 生成/行为对照；扩到完整 27 层并固定 batch content 审计，再推进 SM90 FlashMLA、FP8 / pipeline traces 与 R1-like RL 小模型复现。
 - [ ] 表示、位置与残差二轮：真实 hidden-state / norm traces、长上下文位置外推复现与 mHC / AttnRes 深层稳定性消融。
 - [ ] 评测安全二轮：真实 cross-harness / pass@k 复跑、Judge 元评测、动态污染与过拒案例。
 - [ ] 推理服务二轮：真实 GPU kernel / workload traces、功耗与成本、跨 vLLM / SGLang / TensorRT-LLM 复现。
@@ -379,6 +388,9 @@
 | 2026-07-29 | 目标后的角色词头承担严格 causal negative control | suffix `Assistant→User` 在 34,488 个目标 ordered top-6 上全 exact，目标 TV/JSD/ΔCV 为零；完整输入保留 suffix 自身差异 |
 | 2026-07-29 | BF16 复现合同从 batch shape 扩展到 batch content | official token IDs 与 32-row shape 相同仍不足以保证深层 route hash 相同；companion rows 与数值执行路径也进入边界说明 |
 | 2026-07-29 | DeepSeek 角色词头控制以 `20260729T124516Z-ea49ed0` 发布 | OCI digest `sha256:fa8910ee…0c0bf`；复用 NAS 12010→8080、NPM 31 / cert 41、门户 order 180；十六套生产 Chrome 回归通过，保留上一不可变镜像回滚 |
+| 2026-07-29 | special inventory 与 ordinary controls 永久分统计身份 | BOS/EOS 是固定 tokenizer 的完整 2-ID 库；x/句点只是两个选定普通对照，2-vs-2 只描述四 ID，不推断普通词元总体 |
+| 2026-07-29 | 角色块按 head × delimiter 分解 | `User:`/`Assistant:` 都是两个普通 IDs；head、delimiter、interaction 与四条 direct edges 分账，不把单位置作用冒充完整角色语义 |
+| 2026-07-29 | target-content 与 full-input 永久分因果身份 | 精确对齐目标只观察编辑后的下游传播；完整输入包含被编辑 token 自身，因此方向变化不是主结果矛盾 |
 | 2026-07-29 | K3 二轮按 32 张对象账与完整报告顺序重建 | total/active、2.5×、KDA state、深度来源、专家路由、视觉目标、轨迹、缓存与评测协议不再压成一页组件摘要 |
 | 2026-07-29 | K3 原生视觉事实回到 §2.4 / §3.3 核验 | 删除“先冻结语言模型再解冻”旧表述；明确 MoonViT-V2 从头训练，视觉/文本从开始共同 NTP |
 | 2026-07-29 | K3 Figure 1–16 / Table 1–5 全部建立课程视觉契约 | 每张图同时写支持范围与不可外推项；作者报告、论文、推导与 toy model 使用 R/P/D/T 标签 |