数理统计复习:2-3章(下)
- 2026-10-30 10:49:13
1 估计怎么算好：优良性准则
有了估计量，就要排名。课本给出四条标准，按它们各自回答的问题来记。
1.1 无偏性：不要系统误差
定义 1.1（无偏估计）
若
则称 为 的无偏估计。若 ，但 ，则称 为渐近无偏估计。
估计量是随机变量，有时偏高，有时偏低，无偏性要求它平均起来不偏。课本的两个比喻很好：
秤：误差分两种。秤本身的结构有问题，总是偏高或偏低，是系统误差；温度、湿度等偶然因素造成的是随机误差。无偏性就是没有系统误差，随机误差在长期重复中正负抵消。
每日进货：商店每天按估计的不合格率付款，单看某一天，总有一方吃亏；只要估计量无偏，长期平均下来谁都不吃亏。
定义的两个细节别放过：一是等式要对一切 成立，因为真实的分布可能是族里的任何一个成员；二是无偏性只对一阶矩提要求，数学上好处理，这是它在经典理论里地位稳固的实际原因之一。
两个标准用法： 是 的无偏估计， 是 的无偏估计。 系统地偏低，乘 补回来，这就是除以 的原因，中篇已经从矩估计的角度算过一次。
Adam 的偏差修正
Adam 优化器（Kingma 与 Ba，2014）用指数滑动平均来估计梯度的一阶矩和二阶矩：
展开得 。若梯度的期望 不随时间变化，则
从 0 开始的滑动平均系统地偏小，训练初期尤其严重： 时，第一步只有 。所以 Adam 用 做修正，二阶矩同理。这和 乘 是同一个动作：算出期望偏了多少倍，再除回去。
1.2 有效性：无偏者比方差
无偏估计通常不止一个， 和 都是 的无偏估计。怎么挑？
定义 1.2（有效性）
设 、 都是 的无偏估计。若
且至少对一个 严格不等，则称 比 有效。
一阶矩打平了，就比二阶矩。课本的电视机比喻：甲乙两厂的电视平均寿命都是 20 年，甲厂的稳定在 18 到 22 年，乙厂的从 10 年到 30 年不等。均值相同，方差小的风险小。称重时称 次取平均，就是把方差从 压到 ： 比 有效， 越大越有效。
例 1.3（均匀分布的两个无偏估计）
中， 与矩估计 都是 的无偏估计，而当 时
用到极值的估计反而更有效，因为 的信息就在边界上： 的充分统计量正是 。
批大小与梯度的方差
随机梯度下降里，一个批次上的平均梯度是全数据梯度的无偏估计；批大小为 时，它的方差约为单个样本梯度方差的 ，这就是 。批次越大，梯度估计越有效，但收益递减：方差按 下降，计算量却按 上升。OpenAI 的《An Empirical Model of Large-Batch Training》用梯度噪声的大小来预测「临界批大小」：低于它时，批次加倍，所需的训练步数差不多减半；超过它之后，再加大批次几乎不再减少步数。
1.3 相合性：样本越多越准
定义 1.4（相合性）
若对一切 和一切 ，，则称 弱相合；若 几乎处处收敛到 ，称强相合；若 ，称 阶矩相合， 时叫均方相合。
一个估计量，如果试验做得再多也估不到任意的精度，显然不可取。相合性是对估计量的底线要求。它正是上篇说的大样本性质：无偏、方差管固定 时的表现，相合性管 时的趋势，两类标准在这里会师。强相合与 阶矩相合都能推出弱相合，但这两者互不包含。
示范（课本例 3.1.3）： 样本的几何平均 是 的强相合估计。取对数， 是 i.i.d. 变量的平均，由强大数律收敛到 ，再用连续映射取指数即得。
1.4 均方误差：把偏差和方差放进一个式子
单看偏差或单看方差都不全面，于是合成一个指标（课本定义 3.4.1）：
定义 1.5（均方误差）
命题 1.6（偏差–方差分解）
证明
记 ，展开 再取期望，交叉项 。
误差可正可负，直接平均会抵消，所以先平方再平均。MSE 是统计决策里平方损失下的风险函数。它把偏差也算了进去，和「只在无偏估计里比方差」是两种世界观，这个张力决定了下一节的形状。
2 UMVUE
2.1 从 MSE 退到无偏类
按 MSE 找「一致最小均方误差估计」，通常找不到：常数估计 在 处的 MSE 是 0，在这一点上谁也比不过它，而它在别处一塌糊涂。课本的出路是缩小估计类，只在无偏估计里比。类小了，一致最优的估计就可能存在。
无偏估计本身可能不存在。
例 2.1（1/p 没有无偏估计）
设 ，。若 是 的无偏估计，记 ，则
两边乘以 再移项，左边是一个常数项为 的多项式，却在整个区间 上恒为零，矛盾。
无偏估计存在的参数叫可估参数。反过来，二项模型里 的不超过 次的多项式都是可估的，因为它们都能写成 的线性组合。后面 pass@k 的例子正好用到这一点。
定义 2.2（UMVUE）
设 是 的无偏估计。若对 的任一无偏估计 ，都有
则称 为 的一致最小方差无偏估计（UMVUE）。
无偏估计的偏差项为 0，MSE 就只剩方差，所以「在无偏类里找方差一致最小」是「MSE 一致最小」的自然替代。「一致」是说对一切 同时成立，比在某一个 处最小强得多。也要记得，UMVUE 只是无偏类内部的最优，出了这个类，随时可能被有偏估计反超，这和 James–Stein、和偏差–方差权衡是同一件事。
2.2 Rao–Blackwell：先压缩，再比较
定理 2.3（Rao–Blackwell）
设 是充分统计量， 是 的无偏估计。令 ，则 也是 的无偏估计，且
等号成立当且仅当 a.s.。
证明
由 充分，条件期望 与 无关，确实是一个统计量。由全期望公式，，所以它无偏。再作分解
其中交叉项 先对 取条件期望，就是 0。第一项非负，且为 0 当且仅当 a.s.。
注意充分性用在哪里：它保证 不含未知的 ，能算出来。证明只用了一次方差分解，结论却是战略级的：任何无偏估计，对充分统计量取条件期望，方差只降不升。课本例 3.4.2： 样本中， 是 的无偏估计，， 变成了 ，方差从 降到 。
一个结构结论：要找 UMVUE，只需在充分统计量的函数里找，因为任何无偏估计都能得到方差不更大的、 的函数。充分性在这里第二次变现。
用条件期望给梯度降噪
Rao–Blackwell 的直觉在机器学习里叫「Rao–Blackwell 化」：凡是能解析地积掉的随机性，就先积掉，再对剩下的部分做蒙特卡罗估计，方差只会更小。黑盒变分推断（BBVI）就用它来降低梯度估计的方差。
知识蒸馏是一个更日常的例子。用真实数据训练时，每个样本只有一个采样出来的硬标签；蒸馏时，学生模型拟合教师给出的整个概率分布，相当于把「采样出的标签」换成了「标签的条件期望」。交叉熵对标签是线性的，所以软标签的梯度正是硬标签梯度的条件期望。Hinton 等人在蒸馏论文里的说法是：软目标的熵较高时，每个训练样本提供的信息比硬目标多得多，样本之间梯度的方差也小得多。
2.3 零无偏估计法
Rao–Blackwell 告诉我们往充分统计量里压，但不保证压出来的就是冠军。需要一个判定冠军的判据（课本定理 3.4.2）：
定理 2.4（零无偏估计法）
设 是 的方差有限的无偏估计，
为 0 的无偏估计全体。则 是 UMVUE 的充要条件是
证明的核心是一个恒等式。任取 的另一个无偏估计 ，令 ，则
只要 与一切零无偏估计都不相关，谁来了方差都只增不减。几何上看：和所有「扰动方向」都垂直，就是极小点。
课本推论 3.4.1 把它限制到充分统计量上：只需对 的零无偏估计 验证 。例子见课本例 3.4.3 至 3.4.5： 的 ；密度 中的 （求导把零无偏估计逼成恒为 0）；以及 在 时的分段构造。最后这个例子顺便说明，参数空间一变， 就不再完全了。
2.4 Lehmann–Scheffé：完全性来还账
零无偏估计法要逐题构造、逐题验证。有一条统一的捷径（课本定理 3.4.3）：
定理 2.5（Lehmann–Scheffé）
设 是充分完全统计量， 可估。若 是 的无偏估计，则它是 唯一的 UMVUE。
证明
唯一性来自完全性。 若 、 都是 的无偏估计，则 对一切 成立，由完全性， a.s.。所以在 的函数里， 的无偏估计只有一个。
最小方差来自充分性。 任取 的一个无偏估计 。由 #rao-blackwell， 是 的函数，无偏，方差不超过 的方差。由唯一性， a.s.，所以 。
中篇埋下的伏笔在这里全额兑现。完全性当年看着像一个技术性的好奇心（「期望」这个变换要一一对应），它真正的工作是保证充分统计量的函数里只有一个无偏估计，于是不管从哪个无偏估计出发，Rao–Blackwell 一锤都落到同一个地方。充分完全统计量，加上无偏，就是 UMVUE。
用法分两步：先找充分完全统计量，指数族直接由中篇的定理 2.2 盖章；再构造它的一个无偏估计，常用办法是先随便找一个无偏估计，再对 取条件期望。课本例 3.4.6 至 3.4.11 都是这个套路：
样本，： 的 UMVUE 是 ； 的是 。
样本，： 的是 ； 的是 ； 的是 。
样本，： 的是 ； 的是 。
样本，： 的是 ； 的是 ； 的是 ； 的是 ，其中 。
样本： 的是 。
最后看一个今天天天在用的例子。
例 2.6（pass@k 的无偏估计）
评测写代码的大模型时，常用指标 pass@：对一道题让模型独立生成 个程序，至少有一个通过测试的概率。若模型单次写对的概率是 ，则
实际做法是每道题生成 个程序，数出通过的个数 。把 直接代进去，得到的 是有偏的： 是 的凸函数，由 Jensen 不等式，，所以这个估计系统地偏低。
无偏的版本由 Rao–Blackwell 一步得到。 次生成是 样本， 是充分完全统计量。「前 个里至少有一个通过」的示性函数，是 pass@ 的一个无偏估计；给定 时，前 个全部失败的条件概率，等于从 个里随机取 个、恰好全部取自 个失败者的概率。所以
无偏，又是 的函数，由 #lehmann-scheffe，它是 pass@ 的 UMVUE（ 时约定 ）。
这个公式正是 OpenAI 的 Codex 论文（Chen 等人，2021）给出的计算方法，如今几乎所有代码评测都在用。论文强调的是它无偏；用这一节的语言看，它还是方差最小的那个无偏估计。也注意，pass@ 是 的 次多项式，，所以它可估；要是想估计「平均试几次才成功一次」，也就是 ，由 #no-unbiased，就没有无偏估计了。
3 方差的底线：C-R 不等式
3.1 先划底线，再验收
Lehmann–Scheffé 是「构造并证明」的路线。还有一条「先划底线，再验收」的路线：如果所有无偏估计的方差有一个普遍的下界，谁的方差达到了它，谁就是冠军。这个不等式由 C. R. Rao（1945 年）和 H. Cramér（1946 年）各自独立证明。不等式需要门票，这就是课本定义 3.5.1：
定义 3.1（C-R 正则族与 Fisher 信息量）
称单参数分布族 为 C-R 正则族，若：
是开区间；
支撑集 与 无关；
对一切 、 存在；
对 的求导可以移到积分号内；
。
其中
称为 Fisher 信息量。
的名字有信息论的味道，可以这样读： 衡量数据对参数的敏感度，它的均值恒为 0（见下面证明的第一步），它的方差就是单个观测能提供多少关于 的信息。 个 i.i.d. 观测，信息量加起来是 。
条件 2 会刷掉谁？、 这类支撑集依赖参数的分布，全部出局。它们的信息集中在边界上，结构完全不同，不能用 C-R 下界衡量（课本例 3.5.10）。#unif-two 里， 的方差是 量级，比 量级的 C-R 型下界下降得还快，原因就在这里。
定理 3.2（C-R 不等式）
设分布族是 C-R 正则族， 可微， 是 的方差有限的无偏估计，且 可以在积分号下对 求导，则
证明
记样本的得分函数为
第一步，得分的均值为 0。 由条件 4，
是 个 i.i.d. 项之和，每一项的均值为 0、方差为 ，所以 。
第二步，无偏估计与得分的协方差。 由无偏性，以及积分号下求导，
第三步，Cauchy–Schwarz 不等式。 ，代入第一步即得。
样本量 越大、Fisher 信息 越大，下界越低，数据越多、越有信息，精度的极限越高。 提醒我们，下界随 的斜率缩放：估计一个常数，下界是 0。
四个标准的验收（课本例 3.5.1 至 3.5.4，都是指数族，正则条件自动满足）：
：，下界 ， 的方差恰好等于它，所以 是 的 UMVUE；
：，下界 ， 达标；
，估计 ：下界 ， 达标；
， 已知，估计 ：，下界 ， 达标。
等号什么时候成立？非指数族里，任何 的无偏估计都不可能对一切 达到下界；即使是指数族 ，也只有 这种形式的参数，才有处处达标的无偏估计。C-R 路线只对一小部分参数有效。
3.2 有效估计与效率
定义 3.3（有效估计与效率）
无偏估计 的效率定义为
由 C-R 不等式，。 时称 为有效估计； 但 时，称为渐近有效估计。
C-R 下界常常比真正能达到的下界低，达标是稀缺事件。效率把「差多少」量化成 0 到 1 之间的一个数。中篇的 MLE 渐近正态性说，MLE 的渐近方差正是 ，所以在正则条件下，MLE 是渐近有效的。
必须知道的两个「但是」：
有效估计一定是 UMVUE，但 UMVUE 多半不是有效估计。 课本例 3.5.6 是标准的反例： 中 、 都未知时， 是 的 UMVUE（由 #lehmann-scheffe），但 ，大于 C-R 下界 ，效率只有 。够不着下界，却仍是冠军。所以 C-R 路线失效，绝不说明 UMVUE 不存在。
C-R 不等式要求正则条件，条件不成立时，谈效率没有意义（课本例 3.5.10）。
多参数的版本（课本 3.5.3 节）是矩阵不等式 ，按半正定的序来理解， 是 Fisher 信息阵。信息阵有两种等价的算法：得分外积的期望，或者对数密度二阶导数的期望取负号。
线性无偏估计里也有一个冠军：Gauss–Markov 定理说，线性回归中只要误差的均值为 0、方差相同、互不相关，普通最小二乘估计就是所有线性无偏估计里方差最小的（BLUE）。它可以看作 UMVUE 在线性类中的版本。最小二乘的最优，不是审美偏好，是有定理背书的。
4 Bayes 点估计
4.1 三种 Bayes 估计
定义 4.1（Bayes 估计）
后验众数估计 ：使后验密度 最大的 ，也叫广义最大似然估计；
后验中位数估计 ：后验分布的中位数；
后验期望估计 ：后验分布的均值 。
三者统称 Bayes 估计。
拿到一个分布，用什么数代表它？众数是最可能的值，中位数是中间的值，期望是平均的值，三个都自然，一般也各不相同。后验分布单峰对称时三者重合，这也是最常见的情形。
4.2 共轭先验的两个例子
例 4.2（正态–正态）
设 i.i.d. ， 已知，先验为 。则后验分布为 ，其中
后验均值是先验均值与样本均值的加权平均，样本越多，权重越倒向 。课本的智商测验例子：先验 ，测验成绩 ，某人一次考了 115 分，后验均值
单次的极端分数被先验往中心拉了回来，这正是 Bayes 的脾气。
例 4.3（二项–Beta）
设 ，先验为 ，则后验分布为 ，后验期望
4.3 为什么常取后验期望
Bayes 估计的精度用后验均方误差衡量。记 、 为后验均值与后验方差，则
等号成立当且仅当 。
经典方法比 MSE，Bayes 方法比 PMSE。分解式一行就说明：后验期望估计使 PMSE 最小，这就是三种 Bayes 估计里常选它的全部理由。后验方差 还顺带给出了不确定性的度量。
课本用不合格品率讲了一个思想实验（表 3.6.1）。取均匀先验 ，比较四种情形：抽 3 件、0 件不合格；抽 10 件、0 件不合格；抽 3 件、全不合格；抽 10 件、全不合格。后验众数 依次给出 0、0、1、1：前两种分不出高下，后两种也分不出，可直觉上「10 件全合格」比「3 件全合格」更让人放心。后验期望 依次给出 0.200、0.083、0.800、0.917，把样本量的信息编进了估计。这是 Bayes 估计相对于经典估计的实质优点。
4.4 无信息先验：与 MLE 会师
课本例 3.6.4： 取平坦先验 ，后验为 ，后验期望等于 ，正是 MLE。
经典方法得到的估计，常常可以看作某种特殊先验下的 Bayes 估计。两大学派在数学上并不割裂：均匀先验下，后验众数就是 MLE。分歧在哲学：参数是不是随机变量，信息可不可以是主观的。实务者的态度是能用哪个用哪个。
