docs: 重构方差链文档，将RMSNorm原理独立并链接

Author: treert

docs/attention-score-distribution.md

@@ -50,7 +50,14 @@ $$\mathbb E[s] = 0, \qquad \mathrm{Var}(s) = H\,(D\sigma_w^2\sigma^2)^2 = H D^2
 | q = W_Q A（线性投影） | 一方固定（W 给定，A 随机） | σ_w² = 1/D | 分量方差不变（σ² → σ²） |
 | s = q·k（点积） | 双方随机（q、k 都来自数据） | ÷ √H | 分数方差归一（Hσ⁴ → σ⁴） |
 
-## 3. 训练后：奇异值谱决定一切
+## 3. 上游：σ² 从哪里来
+
+实际网络中 attention 的输入 A、B 来自上游层输出，其分量方差 σ² 并不随意：
+pre-norm 架构里它们先经过 RMSNorm 归一到 1（原理见
+[rmsnorm.md](rmsnorm.md)），再经 σ_w² = 1/D 的投影保持——
+所以实际分数方差恒为 1，而不依赖输入尺度。整条方差链见 rmsnorm.md §3。
+
+## 4. 训练后：奇异值谱决定一切
 
 把两次投影合并：s = Aᵀ M B，其中 M = W_QᵀW_K 是 D×D 矩阵、rank(M) ≤ H。
 对 M 做 SVD（M = Σ σ_i u_i v_iᵀ），由于 u_i、v_i 各自正交，
@@ -71,7 +78,7 @@ $$s = \sum_{i=1}^{r} \sigma_i\,\xi_i\eta_i, \qquad
 初始化时 σ_w²=1/D 的谱是"平"的典型样本：E‖M‖_F² = D²·H·σ_w⁴ = H（σ_w=1/√D），
 平均到 H 个方向各摊 ~1，与 §1 的 Var(s) = Hσ⁴ 一致。
 
-## 4. 演示
+## 5. 演示
 
 `web-tools/noise-ops-demo` 面板二「投影点积（attention 分数）」模式：
 参数 D（输入维）、H（头维）、σ²（输入分量方差），σ_w² = 1/D 固定；

docs/rmsnorm.md

@@ -0,0 +1,73 @@
+# RMSNorm 为什么能工作
+
+RMSNorm 把 D 维向量除以其均方根（再乘可学增益 g）：
+
+$$\mathrm{RMSNorm}(x) = \frac{x}{\mathrm{RMS}(x)}\,g, \qquad
+\mathrm{RMS}(x) = \sqrt{\frac{\|x\|^2}{D}}$$
+
+设输入 x 的分量近似 iid、零均值、分量方差 σ²。RMSNorm 能成立依赖
+长度平方 ‖x‖² ~ σ²χ²(D) 给出的两个数字
+（演示见 `web-tools/noise-ops-demo` 面板二「长度平方」模式）：
+
+## 1. 校准性（期望层面，精确）
+
+RMS 是分量方差的良好估计：E[‖x‖²/D] = σ²（长度平方的均值 = 分量方差 × D）。
+
+更进一步，归一化后分量的方差**精确**为 1，不需要任何近似——
+由分量的交换对称性（E[x_i²/‖x‖²] 对 i 相同，且对 i 求和为 1）：
+
+$$E\!\left[\frac{x_i^2}{\|x\|^2}\right] = \frac{1}{D}
+\;\Longrightarrow\;
+E\!\left[\left(\frac{x_i}{\mathrm{RMS}(x)}\right)^{\!2}\right] = 1$$
+
+注意 RMS(x) 本身是随机变量，但对称性使该恒等式与分布细节无关
+（各分量 iid 即可，甚至不需要高斯假设）。
+
+"精确为 1"是期望意义（跨分量/跨样本平均）；
+单个样本的归一化质量由下一节的稳定性保证。
+
+## 2. 稳定性（单样本层面，渐近）
+
+RMS 逐样本几乎恒定。由 Var(‖x‖²) = 2Dσ⁴，‖x‖²/D 的相对标准差为 √(2/D)；
+开方传到 RMS 上（delta 方法）再减半：
+
+$$\frac{\mathrm{std}(\mathrm{RMS})}{\mathbb E[\mathrm{RMS}]} \approx \frac{1}{\sqrt{2D}}$$
+
+| D | 64 | 1024 | 4096 |
+|---|---|---|---|
+| RMS 相对涨落 | 8.8% | 2.2% | 1.1% |
+
+D 越大，每个样本被除以的因子越接近同一个常数 σ——这就是
+"高维向量长度集中"（‖x‖ ≈ σ√D）在归一化中的表现：
+RMSNorm 在高维几乎等价于除以一个常数，却又对分量尺度的真实变化
+（σ 漂移）保持自校准——这正是它比"固定除数"更鲁棒的原因。
+
+## 3. 与注意力分数的联动：一条方差恒 1 的链
+
+pre-norm 架构的 attention 分支：x → RMSNorm → W_Q/W_K 投影 → 点积 → ÷√H。
+逐环看分量方差（投影与点积的规则推导见
+[attention-score-distribution.md](attention-score-distribution.md) §1–§2）：
+
+| 环节 | 运算 | 情形 | 方差流 |
+|---|---|---|---|
+| RMSNorm | x / √(‖x‖²/D) | — | σ² → **1**（精确） |
+| 投影 q = W_Q A，k = W_K B | H×D 矩阵，σ_w² = 1/D | 一方固定 | 1 → **1** |
+| 点积 s = q·k | H 维求和 | 双方随机 | → H |
+| 缩放 | s / √H | — | → **1** |
+
+即注意力分数的方差稳定为 1，且每一环都不随维度失控：
+RMSNorm 把上游任意尺度的输入先归一，投影保持方差，
+点积的膨胀被 √H 缩放精确抵消。
+
+两个严格性注记：
+
+- RMSNorm 后分量不再是高斯，且因共享 RMS 因子有 O(1/D) 的弱相关；
+  方差链分析只依赖二阶矩（E[x_i²]、分量近似不相关），结论不受影响。
+- LayerNorm 同理（先减均值再多一步中心化，方差结论相同）。
+
+## 4. 演示对应
+
+- `web-tools/noise-ops-demo` 面板一「x²」模式：看 E[x²] = σ²（平方的均值 = 方差本身）；
+- 面板二「长度平方 ‖x‖²」模式：看卡方分布与长度集中（均值 Dσ²、相对涨落 √(2/D)）；
+- 面板二「投影点积」模式：看 ÷√H 后分数方差恒为 σ⁴（σ=1 时即 1），
+  拖 H 只剩形状变化——就是 §3 链条末环的直观演示。

web-tools/noise-ops-demo/README.md

@@ -138,36 +138,8 @@ $$\mathrm{Var}(x\cdot y) = D\,\sigma_x^2\sigma_y^2$$
 两种缩放因子 1/D 与 1/√D 的分野，本质就是点积中"一方固定还是双方皆随机"；
 面板二的两种点积模式可直接对比这两种情形（理论方差与蒙特卡洛实测同屏显示）。
 
-### 4. 附：RMSNorm 为什么能工作
+### 4. 附：RMSNorm 与注意力分数
 
-RMSNorm 把 D 维向量除以其均方根（再乘可学增益 g）：
-
-$$\mathrm{RMSNorm}(x) = \frac{x}{\mathrm{RMS}(x)}\,g, \qquad
-\mathrm{RMS}(x) = \sqrt{\frac{\|x\|^2}{D}}$$
-
-它能成立依赖 §2 长度平方给出的两个数字：
-
-**① 校准性（期望层面，精确）**：RMS 是分量方差的良好估计，
-因为 E[‖x‖²/D] = σ²（长度平方的均值 = 分量方差 × D）。
-更进一步，归一化后分量的方差**精确**为 1，不需要任何近似——
-由分量的交换对称性（E[x_i²/‖x‖²] 对 i 相同，且对 i 求和为 1）：
-
-$$E\!\left[\frac{x_i^2}{\|x\|^2}\right] = \frac{1}{D}
-\;\Longrightarrow\;
-E\!\left[\left(\frac{x_i}{\mathrm{RMS}(x)}\right)^{\!2}\right] = 1$$
-
-注意 RMS(x) 本身是随机变量，但对称性使该恒等式与分布细节无关
-（各分量 iid 即可，甚至不需要高斯假设）。
-
-**② 稳定性（单样本层面，渐近）**：RMS 逐样本几乎恒定。
-由 Var(‖x‖²) = 2Dσ⁴，‖x‖²/D 的相对标准差为 √(2/D)；
-开方传到 RMS 上（delta 方法）再减半，相对标准差 ≈ 1/√(2D)：
-
-| D | 64 | 1024 | 4096 |
-|---|---|---|---|
-| RMS 相对涨落 | 8.8% | 2.2% | 1.1% |
-
-D 越大，每个样本被除以的因子越接近同一个常数 σ——这就是
-"高维向量长度集中"（‖x‖ ≈ σ√D）在归一化中的表现：
-RMSNorm 在高维几乎等价于除以一个常数，却又对分量尺度的真实变化
-（σ 漂移）保持自校准——这正是它比"固定除数"更鲁棒的原因。
+RMSNorm 的原理（校准性 + 稳定性）及它与注意力分数的方差链联动
+（RMSNorm → 分量方差归一 → 投影保持 → 点积 → ÷√H → 分数方差恒 1），
+已移至独立文档：[`docs/rmsnorm.md`](../../docs/rmsnorm.md)。