feat(noise-ops-demo): 新增投影点积（attention 分数）模式，附分布原理文档

Author: treert

docs/attention-score-distribution.md

@@ -0,0 +1,81 @@
+# 注意力分数的分布：从初始化到训练后
+
+注意力头里单个分数的计算：A、B 两个 D 维向量先各自做低维投影
+（q = W_Q A，k = W_K B，W_Q、W_K 为 H×D，H 为头维），再在 H 维空间做点积：
+
+$$s = q \cdot k = (W_Q A)^\top (W_K B)$$
+
+问题：s 的概率密度分布由什么决定？本文推导两个阶段的答案——
+**初始化时**由 (D, H, σ²) 完全决定（且形状只看 H）；
+**训练后**由 M = W_QᵀW_K 的奇异值谱决定（H 只是有效秩上限）。
+
+演示工具：`web-tools/noise-ops-demo` 面板二「投影点积（attention 分数）」模式；
+基础分布（乘积正态、Bessel-K 点积、卡方）的推导见其 README §1–§2。
+
+## 设定
+
+- A、B 分量 iid，N(0, σ²)（对一次前向传播而言是随机的输入）
+- W_Q、W_K 元素 iid，N(0, σ_w²)，**初始化后固定**（模型视角：权重给定、输入随机）
+
+## 1. 初始化时：精确分布
+
+q 的每个分量是独立正态的加权和（W 固定，属"一方固定"情形）：
+
+$$q_i = \sum_{j=1}^D (W_Q)_{ij} A_j \;\sim\; \mathcal N(0,\; D\sigma_w^2\sigma^2),
+\qquad q_1,\dots,q_H \text{ 相互独立}$$
+
+k 同理。于是 s 精确地是 **H 维双方随机点积**：
+
+$$s = \sum_{i=1}^H q_i k_i, \qquad
+f(s) = \frac{(|s|/2a)^{\nu} K_\nu(|s|/a)}{\sqrt\pi\,\Gamma(H/2)\,a},
+\quad \nu = \frac{H-1}{2},\; a = D\sigma_w^2\sigma^2$$
+
+$$\mathbb E[s] = 0, \qquad \mathrm{Var}(s) = H\,(D\sigma_w^2\sigma^2)^2 = H D^2 \sigma_w^4 \sigma^4$$
+
+两个直接推论：
+
+- **形状只看 H**：H=1 是乘积正态（尖峰重尾），H=2 是 Laplace，H 增大由 CLT 趋于正态；
+  D 只通过分量方差进入尺度。
+- **σ_w² = 1/D（标准初始化）时投影保持分量方差**：q_i、k_i 的方差仍是 σ²，
+  D 从公式中消失，Var(s) = H σ⁴。这就是 softmax 前除以 √H 的来源——
+  双方随机点积按 1/√（维数）缩放（对比：线性层初始化按 1/D_in，
+  因为那里是"一方固定"情形，见 noise-ops-demo README §3）。
+
+## 2. 两条缩放规则在 s 上串联
+
+注意力分数恰好把两种基本缩放各用了一次：
+
+| 步骤 | 情形 | 规则 | 效果 |
+|---|---|---|---|
+| q = W_Q A（线性投影） | 一方固定（W 给定，A 随机） | σ_w² = 1/D | 分量方差不变（σ² → σ²） |
+| s = q·k（点积） | 双方随机（q、k 都来自数据） | ÷ √H | 分数方差归一（Hσ⁴ → σ⁴） |
+
+## 3. 训练后：奇异值谱决定一切
+
+把两次投影合并：s = Aᵀ M B，其中 M = W_QᵀW_K 是 D×D 矩阵、rank(M) ≤ H。
+对 M 做 SVD（M = Σ σ_i u_i v_iᵀ），由于 u_i、v_i 各自正交，
+ξ_i = u_i·A/σ、η_i = v_i·B/σ 仍是独立标准正态，故
+
+$$s = \sum_{i=1}^{r} \sigma_i\,\xi_i\eta_i, \qquad
+\mathbb E[s]=0,\quad \mathrm{Var}(s) = \sigma^4 \sum_i \sigma_i^2 = \sigma^4 \|M\|_F^2$$
+
+即 s 是**加权的独立乘积和**，分布形状由奇异值谱 {σ_i} 决定：
+
+- **谱平**（σ_i 全等、r = H）：退化为初始化时的 H 维点积形状；
+- **谱集中**（有效秩 r_eff = (Σσ_i)²/Σσ_i² ≪ H）：趋向少数乘积项之和，
+  分布变尖峰重尾；r=1 极限就是乘积正态（单个 ξη）。
+- 所以"H 决定形状"只在谱平时成立。训练倾向于把谱学得集中
+  （注意力投影的有效秩通常远小于 H——这也是 LoRA 类低秩微调的前提之一），
+  因此训练后的分数分布一般比初始化时更尖、尾更重。
+
+初始化时 σ_w²=1/D 的谱是"平"的典型样本：E‖M‖_F² = D²·H·σ_w⁴ = H（σ_w=1/√D），
+平均到 H 个方向各摊 ~1，与 §1 的 Var(s) = Hσ⁴ 一致。
+
+## 4. 演示
+
+`web-tools/noise-ops-demo` 面板二「投影点积（attention 分数）」模式：
+参数 D（输入维）、H（头维）、σ²（输入分量方差），σ_w² = 1/D 固定；
+W_Q、W_K 由种子生成后固定。演示的是 **scaled** 分数 s/√H（scaled dot-product
+attention 的做法）：理论线为 H 维 Bessel-K 的 √H 缩放版，Var = σ⁴ 恒定。
+拖 H：形状从尖峰（H=1）→ Laplace（H=2）→ 正态（大 H），而尺度不动——
+直观感受"除以 √H"如何把方差稳住，以及"形状只看 H"的含义。

web-tools/noise-ops-demo/README.md

@@ -8,7 +8,8 @@
 1. **按元素运算**（标量视角）：同一批样本对 x、y 逐元素做 x、x+y、x∘y、x² 四种运算，
    四条精确理论密度同图对比，选中项叠加蒙特卡洛直方图。直观看：
    相加保持正态；按元素乘变成尖峰重尾的乘积正态；平方把质量压到正半轴、均值漂离 0。
-2. **求和：点积与长度**（向量视角）：点积（双方随机 / 一方固定 ±1）与 ‖x‖² 三个模式，
+2. **求和：点积与长度**（向量视角）：点积（双方随机 / 一方固定 ±1）、‖x‖²，
+   以及投影点积（attention 分数：先各自 H 维投影再点积）四个模式，
    直方图 + 精确理论曲线。拖 D 从 1 到 4096 可看乘积正态 → Laplace → 正态的
    中心极限过程，以及 ‖x‖² 的长度集中（RMSNorm 的前提）；
    两种点积模式的理论/样本方差对比即回答"σ²=1/D 能否让点积方差为 1"。
@@ -74,6 +75,10 @@ $$f(z) = \frac{1}{\sigma\sqrt{2\pi z}}\,e^{-z/(2\sigma^2)},\quad z>0$$
 | x·y（双方随机） | Bessel-K 型，ν=(D−1)/2 | 0 | D·σx²σy² | 否（D=1 乘积正态、D=2 Laplace；D 大由 CLT 趋近正态） |
 | x·v（一方固定，v_i=±1） | N(0, Dσ²) | 0 | Dσ² | **是**（精确正态） |
 | ‖x‖²（长度平方） | σ²χ²(D) | Dσ² | 2Dσ⁴ | 否（只有正半轴；D 大趋近正态） |
+| (W_QA)·(W_KB)/√H（attention 分数，σ_w²=1/D） | H 维双方随机点积 ÷√H | 0 | σ⁴（与 D、H 无关） | 否（形状只看 H） |
+
+投影点积即 attention 分数的初始化分布；训练后取决于 W_QᵀW_K 的奇异值谱，
+完整讨论见 `docs/attention-score-distribution.md`。
 
 **双方随机** z = Σ x_i y_i：特征函数 φ(t) = (1 + a²t²)^{-D/2}（a = σxσy），反演得
 

web-tools/noise-ops-demo/css/style.css

@@ -231,6 +231,17 @@ main {
   width: 180px;
 }
 
+/* 面板参数行内的控件小组（如头维 H：标签+滑块+输入框），可整体隐藏 */
+.panel-controls .control-group {
+  display: inline-flex;
+  align-items: center;
+  gap: 8px;
+}
+
+.panel-controls .control-group input[type="range"] {
+  width: 140px;
+}
+
 .controls-hint {
   font-size: 12px;
   color: #8c959f;

web-tools/noise-ops-demo/index.html

@@ -72,12 +72,18 @@ <h2>向量求和：点积与长度分布</h2>
           <label><input type="radio" name="sumMode" value="dotRandom" checked /> 点积 x·y（双方随机）</label>
           <label><input type="radio" name="sumMode" value="dotFixed" /> 点积 x·v（一方固定 ±1）</label>
           <label><input type="radio" name="sumMode" value="norm2" /> 长度平方 ‖x‖²</label>
+          <label><input type="radio" name="sumMode" value="projDot" /> 投影点积（attention 分数）</label>
         </div>
       </div>
       <div class="panel-controls">
         <label for="sliderD">维数 D</label>
         <input id="sliderD" type="range" min="0" max="12" step="1" value="4" />
         <input id="inputD" type="number" min="1" max="8192" step="1" value="16" />
+        <span class="control-group" id="hControl" style="display: none">
+          <label for="sliderH">头维 H</label>
+          <input id="sliderH" type="range" min="0" max="9" step="1" value="6" />
+          <input id="inputH" type="number" min="1" max="512" step="1" value="64" />
+        </span>
         <label>分量方差 σ²</label>
         <div class="preset-group">
           <button type="button" data-preset="1">1</button>
@@ -98,6 +104,11 @@ <h2>向量求和：点积与长度分布</h2>
         LLM 对应：线性层初始化 W ~ N(0, 1/D<sub>in</sub>) 属一方固定（输入对本次前向传播是给定的），输出方差保持 1；
         attention 的 q·k 双方皆随机、分量方差 ≈ 1，点积方差 = D<sub>k</sub>，故 softmax 前除以 √D<sub>k</sub>。
         ‖x‖² ~ σ²χ²(D)：均值 Dσ²、相对涨落 √(2/D)，高维时长度集中到 σ√D（RMSNorm 能工作的前提）。
+        <br />
+        投影点积（attention 分数）：s = (W_QA)·(W_KB)/√H，W_Q、W_K 为 H×D 随机初始化矩阵（σ_w²=1/D，由种子生成后固定）。
+        初始化后投影保持分量方差（q、k 分量方差仍是 σ²），点积方差 = H·σ⁴，除以 √H 后 <strong>Var = σ⁴，与 D、H 都无关</strong>——
+        拖 H 只剩形状变化（H=1 尖峰、H=2 Laplace、大 H 正态）而尺度稳定。训练后取决于 M = W_QᵀW_K 的奇异值谱（H 只是有效秩上限），
+        推导见 <code>docs/attention-score-distribution.md</code>。
       </p>
     </div>
   </main>

web-tools/noise-ops-demo/js/app.js

@@ -47,6 +47,9 @@
     // 面板二
     sliderD: $('sliderD'),
     inputD: $('inputD'),
+    hControl: $('hControl'),
+    sliderH: $('sliderH'),
+    inputH: $('inputH'),
     inputSigmaSum: $('inputSigmaSum'),
     btnSampleSum: $('btnSampleSum'),
     sumStats: $('sumStats'),
@@ -60,11 +63,12 @@
     useSeed: true,
     seed: 42,
     elem: { sigma2: 1, N: 200000, op: 'product' },
-    sum: { D: 16, sigma2preset: '1/D', sigma2: 1 / 16, mode: 'dotRandom' },
+    sum: { D: 16, H: 64, sigma2preset: '1/D', sigma2: 1 / 16, mode: 'dotRandom' },
   };
 
   var pairs = null; // 面板一样本对 {x, y}；null = 未采样/已失效
   var sumCache = {}; // 面板二缓存：modeId -> { samples, M }；参数变更即清空
+  var projW = null; // projDot 的固定投影矩阵 {D, H, key, wQ, wK}；随参数/种子失效
   var charts = {};
 
   /** 随机种子（全局共享）；salt 区分各条随机流，保证两面板样本无交集 */
@@ -226,8 +230,38 @@
     });
   }
 
+  /**
+   * projDot 的投影矩阵：σ_w² = 1/D（标准初始化），由种子生成后固定；
+   * D、H 或种子变化时重建。
+   */
+  function getProjW() {
+    var D = state.sum.D;
+    var H = state.sum.H;
+    var key = D + '|' + H + '|' + currentSeed(0);
+    if (projW && projW.key === key) return projW;
+    var g = S.makeRng(currentSeed(41));
+    var sigmaW = 1 / Math.sqrt(D);
+    projW = {
+      key: key,
+      wQ: S.makeProjection(g, H, D, sigmaW),
+      wK: S.makeProjection(g, H, D, sigmaW),
+    };
+    return projW;
+  }
+
   /** 采指定模式并存入缓存；M 随 D 自适应（总采样量封顶 ~1.6e7 个分量） */
   function sampleSumMode(modeId) {
+    if (modeId === 'projDot') {
+      var D = state.sum.D;
+      var H = state.sum.H;
+      var sigma = Math.sqrt(state.sum.sigma2);
+      var w = getProjW();
+      // 每样本 2HD 次乘加：预算 ~3e8，M 随之自适应
+      var M = Math.max(500, Math.min(20000, Math.floor(3e8 / (2 * H * D))));
+      var samples = S.sampleProjDot(S.makeRng(currentSeed(43)), M, D, H, sigma, w.wQ, w.wK);
+      sumCache.projDot = { samples: samples, M: M };
+      return;
+    }
     var D = state.sum.D;
     var sigma = Math.sqrt(state.sum.sigma2);
     var M = Math.max(2000, Math.min(60000, Math.floor(1.6e7 / (2 * D))));
@@ -245,10 +279,11 @@
   function renderSum() {
     var sigma = Math.sqrt(state.sum.sigma2);
     var D = state.sum.D;
+    var H = state.sum.H; // 仅 projDot 模式使用
     var mode = T.SUM_MODES.filter(function (m) {
       return m.id === state.sum.mode;
     })[0];
-    var r = mode.range(D, sigma);
+    var r = mode.range(D, sigma, H);
     var lo = r[0];
     var hi = r[1];
 
@@ -263,7 +298,7 @@
         animation: false,
         data: theoryLine(
           function (z) {
-            return mode.pdf(z, D, sigma);
+            return mode.pdf(z, D, sigma, H);
           },
           lo,
           hi,
@@ -318,14 +353,15 @@
     var text =
       'D=' +
       D +
+      (mode.id === 'projDot' ? '、H=' + H : '') +
       '、σ²=' +
       fmt(state.sum.sigma2) +
       '：<b>' +
       mode.label +
       '</b> 理论 均值 ' +
-      fmt(mode.mean(D, sigma)) +
+      fmt(mode.mean(D, sigma, H)) +
       '、方差 ' +
-      fmt(mode.variance(D, sigma));
+      fmt(mode.variance(D, sigma, H));
     if (pack) {
       var mv = S.sampleMeanVar(pack.samples);
       text +=
@@ -342,6 +378,11 @@
     el.sumStats.innerHTML = text;
   }
 
+  /** H 控件只在投影点积模式下显示 */
+  function refreshHVisibility() {
+    el.hControl.style.display = state.sum.mode === 'projDot' ? '' : 'none';
+  }
+
   // ---------- 样本失效 ----------
   function invalidateElement() {
     pairs = null;
@@ -351,6 +392,7 @@
 
   function invalidateSum() {
     sumCache = {};
+    projW = null;
     markNeedSample(el.btnSampleSum, true);
     renderSum();
   }
@@ -433,9 +475,31 @@
       refreshSigma2();
       invalidateSum();
     });
+    // H：滑块走 2 的幂，输入框允许任意 1~512
+    function onHChange(H) {
+      state.sum.H = H;
+      invalidateSum();
+    }
+    el.sliderH.addEventListener('input', function () {
+      var H = Math.pow(2, +el.sliderH.value);
+      el.inputH.value = H;
+      onHChange(H);
+    });
+    el.inputH.addEventListener('change', function () {
+      var H = Math.round(+el.inputH.value);
+      if (!isFinite(H)) {
+        el.inputH.value = state.sum.H;
+        return;
+      }
+      H = Math.max(1, Math.min(512, H));
+      el.inputH.value = H;
+      el.sliderH.value = Math.max(0, Math.min(9, Math.round(Math.log2(H))));
+      onHChange(H);
+    });
     document.querySelectorAll('input[name="sumMode"]').forEach(function (r) {
       r.addEventListener('change', function () {
         state.sum.mode = r.value;
+        refreshHVisibility();
         renderSum(); // 切换模式不失效：有缓存则显示直方图，无则纯理论线
       });
     });
@@ -468,6 +532,7 @@
     charts.sum = echarts.init($('chartSum'));
     bindControls();
     refreshSigma2();
+    refreshHVisibility();
     markNeedSample(el.btnSampleElem, true);
     markNeedSample(el.btnSampleSum, true);
     renderElement();

web-tools/noise-ops-demo/js/sampler.js

@@ -122,6 +122,48 @@
     return out;
   }
 
+  /**
+   * 生成 H×D 投影矩阵（attention 的 W_Q / W_K）：元素 iid N(0, σw²)，按行存储。
+   * 初始化后固定使用——模型视角：权重给定、输入随机。
+   */
+  function makeProjection(gauss, H, D, sigmaW) {
+    var W = new Float64Array(H * D);
+    for (var i = 0; i < W.length; i++) W[i] = sigmaW * gauss();
+    return W;
+  }
+
+  /**
+   * 投影点积（attention 分数）采样：s = (W_Q A)·(W_K B)/√H
+   * （scaled dot-product attention 的做法：÷√H 后 Var = σ⁴，与 D、H 无关）。
+   * W_Q、W_K 固定（由 makeProjection 事先生成），A、B 每个样本新采（分量 N(0, σ²)）。
+   * 返回 M 个分数样本。
+   */
+  function sampleProjDot(gauss, M, D, H, sigma, wQ, wK) {
+    var out = new Float64Array(M);
+    var A = new Float64Array(D);
+    var B = new Float64Array(D);
+    for (var m = 0; m < M; m++) {
+      var i, j;
+      for (j = 0; j < D; j++) {
+        A[j] = sigma * gauss();
+        B[j] = sigma * gauss();
+      }
+      var s = 0;
+      for (i = 0; i < H; i++) {
+        var off = i * D;
+        var qi = 0;
+        var ki = 0;
+        for (j = 0; j < D; j++) {
+          qi += wQ[off + j] * A[j];
+          ki += wK[off + j] * B[j];
+        }
+        s += qi * ki;
+      }
+      out[m] = s / Math.sqrt(H);
+    }
+    return out;
+  }
+
   /**
    * 直方图分箱：把 samples 投到 [lo, hi] 的 nBins 个等宽箱。
    * 返回 { centers, density, under, over }，density = count/(N·binWidth)，
@@ -173,6 +215,8 @@
     applyElementOp: applyElementOp,
     makeFixedVector: makeFixedVector,
     sampleSum: sampleSum,
+    makeProjection: makeProjection,
+    sampleProjDot: sampleProjDot,
     histogram: histogram,
     sampleMeanVar: sampleMeanVar,
   };