自对弈强化学习成为强 AI 的硬约束——物化 D4 对称增强的不可替代性

适用范围声明：本文讨论的约束可能仅适用于五子棋、围棋等具有 棋盘对称性的棋类游戏（D4 对称群：4 次旋转 × 2 次翻转 = 8 种 等价方位）。非对称博弈（如扑克）的自对弈闭环不会产生 同类方位偏置问题，以下结论不直接适用。

与 sims 数无关：本文结论覆盖所有 sims 配置。高 sims 管线 的标签质量更高、闭环偏置被暂时掩盖，但一旦逼近强 AI（标签干净）， 闭环偏置同样会成为瓶颈。低 sims 只是让这个问题更尖锐（标签噪声大 时 Online D4 的去噪收益不够），机制相同。

1. 核心论点

自对弈强化学习要突破"强 AI"瓶颈，全量 D4 物化增强是硬约束—— Online D4 + 经验回放无法替代。

这不是"效果更好"的优化项，是信息论上的天花板：自对弈闭环 （模型生成数据 → 数据训练模型 → 模型变了 → 生成新数据）的 对称性破缺是正反馈的，不强制物化 D4 的话，方位偏置会被闭环 永久固化，盲点永远存在，模型永远有学不到的战术方位。

这个约束与 sims 数无关：高 sims 管线标签质量更高，闭环偏置 被暂时掩盖，但一旦逼近强 AI（标签干净），闭环偏置同样会成为瓶颈。 低 sims 只是让这个问题更尖锐（标签噪声大时 Online D4 的去噪收益 不够），但机制相同。

2. 自对弈闭环的对称性破缺

自对弈是个闭环，数据分布由模型自己产生：

▼
text
复制代码
模型下棋（有微小方位偏置：例，左上角着法略多）
    ↓
自对弈生成局面 → 左上角相关战术出现频次更高
    ↓
训练后偏置被巩固，甚至放大
    ↓
下次自对弈继续生成偏置数据
    ↓
闭环正反馈：偏置 → 数据偏置 → 训练偏置 → 偏置更大

这个闭环的破缺机制：数据生成端的不对称——模型按偏置下棋， 生成的数据天然偏，训练端的 Online D4 补不齐，因为它只翻已有的 偏置数据，不改变模型下次下棋的偏置。

3. 物化 D4 vs Online D4：硬约束 vs 软约束

3.1 物化 D4

在数据生成之后、训练之前，立刻为每个原始局面物化 8 份不同 方位的副本，强制训练集瞬间完全对称：

▼
text
复制代码
模型有偏置 → 自对弈生成偏置数据
    ↓ 物化 D4（硬约束点）
每个原始局面同时生成 8 个方位副本 → 训练集完全对称
    ↓
同一次 forward/backward 里 8 个方位的梯度一起反传
    ↓
模型的方位偏置在每个训练步都被 8 倍信号强制纠正
    ↓
下次自对弈偏置被削弱 → 生成的数据更均衡 → 正循环（正确方向）

关键：物化 D4 是硬约束——8 个方位的梯度在同一次训练步里 直接竞争，模型没有任何机会"选择性忽略"某个方位。

3.2 Online D4

训练时每个样本随机抽 1 种 D4 变换，不物化 8 份副本：

▼
text
复制代码
模型有偏置 → 自对弈生成偏置数据
    ↓ Online D4（软约束点）
每个原始样本在当前 epoch 被随机变换 1 个方位
    ↓
梯度反传时只有 1 个方位的信号
    ↓
模型的方位偏置在这个训练步没有被 8 倍纠正
    ↓
闭环正反馈继续 → 偏置累积

关键：Online D4 是软约束——8 个方位分散在不同 epoch 里， 每次训练步的模型权重不同，梯度不直接竞争，偏置有充分的生存空间。

3.3 核心差异图示

▼
text
复制代码
物化 D4 的梯度竞争（同一步）：
  方位 0 ─┐
  方位 1 ─┤
  方位 2 ─┼─→ 模型权重（同一次 backward）
  方位 3 ─┤
  方位 4 ─┤
  方位 5 ─┼─→ 模型偏置被 8 倍信号强制拉向方位无关
  方位 6 ─┤
  方位 7 ─┘

Online D4 的梯度竞争（跨 epoch）：
  epoch 0: 方位 3 ──→ 模型权重 v0
  epoch 1: 方位 7 ──→ 模型权重 v1（变了）
  epoch 2: 方位 1 ──→ 模型权重 v2（又变了）
  ...
  8 个方位的梯度永远不直接竞争，偏置可在间隔中生存

4. replay_rounds 能不能替代物化 D4？

短答：数字上 7 等效，效果上不等效。

4.1 数字等效计算

基于 run_1 配置：每轮 100 局 × 15 手 ≈ 1500 原始样本、num_epochs=3。

样本量等效：

• 物化 D4：每轮训练样本 = 1500 × 8 = 12000（同时约束）
• Online D4 + replay_rounds=N：每轮训练样本 = (N+1) × 1500 × 3
• 令两者相等 → N+1 ≥ 8 → replay_rounds ≥ 7

方位覆盖等效（Coupon Collector 问题）：

• 物化 D4：每个原始样本 100% 覆盖 8 个方位（同时）
• Online D4 + replay_rounds=7：每个原始样本被训练 (7+1) × 3 = 24 次 → 期望覆盖 8 × (1 - (7/8)^24) ≈ 7.7/8 方位 ≈ 96%
• replay_rounds ≥ 7 时方位覆盖 ≥ 95%

4.2 为什么数字等效但效果不等效

核心差异回到硬/软约束：

▼
text
复制代码
物化 D4，replay_rounds=0：
  同一训练步，同一原始局面的 8 个方位同时过模型
  → 梯度直接竞争 → 硬约束 → 偏置在每个训练步被强制纠正

Online D4，replay_rounds=7：
  某训练步，局面 A 在方位 3；另一训练步（可能是另一 epoch、另一轮），
  同一局面 A 在方位 7；两次训练步的模型权重不同
  → 梯度不直接竞争 → 软约束 → 偏置有生存空间

此外，replay 的旧数据还有一个隐藏问题：标签过时——层次重分配 标签的质量依赖当前 value 头的精度。replay 里保留的是历史轮次的 重分配标签，当时 value 头还不准，标签质量差。 物化 D4 用的是当前轮次的新鲜重分配标签，没有过时问题。

结论：replay_rounds 最多缓解数据多样性不足，无法替代物化 D4 的"同一局面 8 方位同时约束"功能。

5. 分阶段收益分析

物化 D4 在训练的不同阶段收益截然不同，这解释了为什么 run_1 （低 sims）用 Online D4 也能逃出双盲期但到不了强 AI，也解释了 为什么高 sims 管线逼近强 AI 时同样会被闭环偏置卡住。

5.1 冷启动期（run_1 r0~r1049，高 sims 同等阶段）：D4 收益有限

冷启动期核心瓶颈：policy 标签全是噪声（低 sims：30 sims 每节点 1-3 visits，层次重分配的 Q 也不准；高 sims：搜索深但战术序列少， 早期对局同样单调）。

• 物化 D4：8 份噪声平均，信噪比提升 √8 ≈ 2.8 倍。虽然还是噪声， 但有方向性信号开始浮现。run_1 估算可把逃逸点从 r1200 压缩到 r800。
• 但代价是每轮训练样本量 × 8，每轮耗时从 ~22s 涨到 ~150s+。
• 性价比差：逃逸点缩短 400 轮，但每轮变慢 7 倍，总耗时反而增加。

run_1 实测验证：Online D4 + 30 sims + 小网络 + 层次重分配， 8.4 小时、1200 轮自然逃逸——这是冷启动期管线的合理表现。高 sims 管线的冷启动期同样受益有限，只是高 sims 标签噪声小、逃逸点更早。

5.2 逃出冷启动后（run_1 r1050+，高 sims 同等强度阶段）：D4 是刚需

逃出后标签信号已经干净（Q 变准 → 重分配标签变准），瓶颈从 "标签噪声"变成了自对弈闭环的对称性破缺——这是所有 sims 配置 下都存在的普适瓶颈。

• run_1 用 Online D4 逃出后继续训练到 r1379，已经摸到了强 AI 的 门槛（用户实测"模型强度已经非常接近于强 AI"）。
• 但这个门槛就是不对称性的天花板——某些方位的战术永远学不到， 或学到了但精度差一截。
• 高 sims 管线到这个阶段同样会被卡住：标签干净了，但闭环偏置的 正反馈开始主导，模型学不到方位无关的特征。
• run_2/run_3 如果继续用 Online D4 + 同一套管线，预测永远过不去： 不是训练时间不够，是自对弈闭环的正反馈会把偏置永久固化， 盲点永远存在。

5.3 分阶段收益总结

6. run_2/run_3 的建议

1. run_1 best.pth 已逃出双盲期且接近强 AI，作为 run_2 的 base
2. run_2 开启 augment_full=True（物化 D4）——此时标签是干净的， 硬约束收益最大，这是从"接近强 AI"到"强 AI"的关键一步
3. 双盲期已过，不用再担心物化 D4 的"标签噪声 × 8"问题
4. 训练时间会增加（每轮训练段 × 8），但换来的是打破信息论天花板

如果还没准备好开物化 D4 测试，可以先设 replay_rounds=7 作为 过渡（数字等效下界），但要接受效果永远不如物化 D4。

7. 一句话总结

自对弈闭环的对称性破缺是正反馈的、不可逆的——Online D4 只能软约束、 约束不了闭环本身，物化 D4 是唯一能打破这个正反馈的硬手段。 冷启动期标签是噪声，D4 的收益被稀释；一旦标签干净、模型逼近强 AI， 闭环偏置立刻成为信息论天花板——这道坎，只有物化 D4 能过。