数理统计复习:2-3章(上)
- 2026-10-28 06:03:18
1 问题引入
手里只有样本 ，需要对总体分布的未知参数 下结论，该怎么办？
这两章的内容很多：、、、次序统计量、充分、完全、矩估计、MLE、无偏、相合、UMVUE、C-R、Bayes……但它们都在回答这个问题的不同环节：
压缩：数据太多，必须压成少数几个数，于是有了统计量 。压缩之后丢不丢失信息？于是有了充分、极小充分、完全统计量。
规律：压缩之前想要知道数据怎么分布的，这就是抽样分布。正态总体有 、、；一般总体看极限分布；另一种压法是次序统计量。
估计：用压缩物估参数，即点估计：矩估计、最大似然估计，以及求解它们的数值算法。
评价：估计有好坏吗？无偏性、有效性、相合性、均方误差。
最优：评价过程中有没有“最好”的估计？UMVUE、C-R 下界、效率。
先验：换一种思考方式，把先验知识请回来，即 Bayes 点估计。
1.1 统计推断的基本格局
全书所有模型都长一个样：
分布的形式已知，参数 未知； 是从某个 里独立同分布地抽出来的简单样本。任务是猜出 ，或者它的某个函数 。
模型训练就是估计
这个格局就是监督学习的格局： 是模型类（线性模型、神经网络）， 是权重，样本是训练集，估计就是训练。区别在于：统计学传统上假设模型类小、样本少，追求可解释、误差可量化；而机器学习把模型类做得极大、样本极多，追求预测精度。
大语言模型也不例外。预训练的任务是「预测下一个词」：模型在词表上给出一个分类分布，训练就是对这个分布做最大似然估计（中篇会讲）。损失函数里的交叉熵，就是负对数似然除以词数。
1.2 第一关：压缩
可以很大。人脑没法直接对 个数下结论，计算机也未必想保留全部原始数据。所以第一步永远是压缩：把 个数变成一个或少数几个数，
就是统计量。课本 2.1 节把这里的关系说得很清楚：
样本 有分布，叫样本分布； 统计量是样本的函数，所以统计量也是随机变量，也有分布； 统计量的分布叫抽样分布（sampling distribution），原则上可以从样本分布导出来。
Fisher 把抽样分布、参数估计、假设检验看作统计推断的三个中心内容。抽样分布排第一，是因为评价一个估计量好不好、一个检验灵不灵，「完全取决于其抽样分布的性质」（课本 2.1 节）。不知道 怎么变化，就没法谈 好不好用。
压缩即预测
压缩是机器学习的日常操作：embedding、降维、特征哈希、模型蒸馏，都是把高维数据压成低维表示。统计学比它多问一个问题：压缩丢了多少信息？ 这个问题的严格答案是充分统计量（中篇），它在机器学习里的近亲是信息瓶颈（information bottleneck）：好的表示应当留下与任务有关的全部信息，扔掉无关的部分。
反过来也成立：会预测，就会压缩。用算术编码给一个符号编码，码长约为 比特， 是模型给这个符号的概率。所以语言模型在一段文本上的交叉熵，就是拿它当编码器时每个 token 的平均码长；训练时压低交叉熵，就是在提高压缩率。DeepMind 的《Language Modeling Is Compression》做过实验：主要用文本训练的 Chinchilla 70B，能把 ImageNet 图像块压到原大小的 43.4%，把 LibriSpeech 音频压到 16.4%，胜过专用的 PNG（58.5%）和 FLAC（30.3%）。
2 正态总体
压缩物 是随机的，要用它，先得知道它的分布。可绝大多数统计量的精确分布求不出来，已知的精确分布「大多是在正态条件下得到的」（课本 2.1 节）。所以课本的思路是：先讲清楚正态总体，再谈一般情形。
2.1 第一个标准：样本均值
最简单的统计量是线性组合 ，先问它。下面是课本定理 2.2.1。
定理 2.1（正态变量的线性组合）
设 相互独立，， 为常数，则
证明
用特征函数。 的特征函数是 ，独立随机变量之和的特征函数是各自特征函数的乘积，所以
还是正态的形状，读出均值和方差即可。
取 ，就得到全书最重要的一条结论：
方差随 缩小：样本越多， 越集中在真值 附近。后面所有的大样本性质，都能在这里看到。
方差公式
#lincomb 里的方差公式 只要独立就成立，深度学习里有两处需要用到这个公式。
一是初始化。一个神经元的输入是 ，若权重与输入相互独立、均值为 0，它的方差就是 。为了让信号一层层传下去时方差既不爆炸也不消失，Xavier 初始化取 ，He 初始化针对 ReLU 取 。
二是 Transformer 的缩放点积注意力。若查询 与键 的各分量独立、均值为 0、方差为 1，则 的均值为 0、方差为 。《Attention Is All You Need》的脚注正是用这个算式说明： 一大，点积的量级跟着变大，softmax 被推进梯度极小的饱和区，所以要除以 ，把方差拉回 1。
更一般地，对 i.i.d. 的 样本作线性变换 ，有课本定理 2.2.2：
定理 2.2（正交变换）
设 i.i.d. ，，则 服从多元正态分布。若 是正交阵，则 仍相互独立，各自服从方差为 的正态分布； 时， 与 同分布。
2.2 第二个标准：样本方差，以及它与样本均值的独立
下面是课本定理 2.2.3
定理 2.3（样本均值与样本方差）
设 i.i.d. ，则
；
与 个独立 变量的平方和同分布（下一小节把这个分布命名为 ）；
与 相互独立。
证明
第 1 条是 #lincomb 取 。第 2、3 条用正交变换，这个推导值得完整走一遍，它是全章的中枢神经。
取正交阵 ，第一行全是 （由 Schmidt 正交化，这样的 存在），令 ，则
正交变换保持向量长度，，于是
由 #orth， 相互独立。 时，第 行与第一行正交，即 ，又 ，所以
即 i.i.d. 。因此 是 个独立标准正态变量的平方和。同时， 只依赖 ， 只依赖 ，所以 与 独立。
自由度的直观： 个偏差 加起来必须为 0，这一个约束「用掉」了一个自由度，能自由变化的独立方向只剩 个，所以自由度是 。、 里反复出现的「自由度」就是从这里来的。
独立性的价值： 与 独立，是后面 分布「分子分母独立」这个条件的唯一来源。没有它， 分布组装不起来。
2.3 给反复出现的结构命名： 分布
#xbar-s2 算出， 是 个独立 的平方和。这个结构在统计学里到处出现，值得一个名字。
定义 2.4（χ² 分布）
设 i.i.d. ，称
为自由度为 的 变量，记为 。
定理 2.5（χ² 分布的密度与性质）
的密度为
即 。它的特征函数为 ，，。并且有再生性：独立的 相加，得到 。
密度公式是课本定理 2.3.1，课本给了两种证法，各有价值：
Gamma 再生性： 的密度正是 的密度，而尺度参数相同的独立 Gamma 变量相加仍是 Gamma。
维球坐标：直接对 作球坐标变换，把 维球上的积分算出来。
再生性的用处是让两个独立样本的平方和可以合并。后面两样本 统计量里的 ，就是这样把两组平方和拼成一个 变量的。
上侧分位数：满足 的 记为 。 取 0.05、0.01 这类小值，查表即得。抽样分布的最终用途是算概率、做检验，把分布翻译成一张表，中间的桥梁就是分位数。
高维高斯是一层薄壳
设 是 维标准正态向量，则 ，均值为 ，标准差为 。相对波动 ，所以 几乎总在 附近：高维高斯的概率质量不在原点附近，而在半径约为 的一层薄壳上。
扩散模型从纯噪声出发生成图像。一张 的图有 维，噪声向量的长度约为 ，上下浮动不到 1。这解释了一个工程习惯：在两个噪声向量之间插值时，人们常用球面插值（slerp），而不用直线插值。两个独立的高维噪声几乎正交，直线中点的长度只有约 ，掉出了薄壳，模型训练时从没见过这么「安静」的噪声。
2.4 未知的困境：逼出 分布
现在看一个真实的场景： 未知， 也未知，想对 做推断。由 #xbar-s2，，但分母里的 未知，这个式子没法用。
自然的补救是用样本标准差 顶替 ：
分子是 ，分母是 。由 #xbar-s2，分子分母独立，这就是上一小节保住的独立性。「正态除以独立 变量的平方根」的结构又一次出现，于是命名：
定义 2.6（t 分布）
设 ，，且 与 独立，则称
为自由度为 的 变量，记为 。
这是全章「定义被问题逼出来」最干净的例子： 未知，用 替代，出现「正态 ÷ 」的结构，命名。 分布的全部意义，就是回答：用估计出来的标准差做标准化，误差该怎么算。 它由 Gosset 在 1908 年以笔名 Student 发表，他在吉尼斯酒厂工作，面对的正是小样本。
的密度是（课本定理 2.3.2）
它和 一样单峰、关于 0 对称，但峰更矮、尾更粗。尾粗是因为分母 是随机的： 偏小时会把比值放大，多出来的这层不确定性全压在了尾部。 时 ，：样本多了，用 顶替 的代价就消失了。特例： 就是 Cauchy 分布，连均值都不存在； 时 。
满足 的 记为 。对称分布用双侧分位数最方便。
2.5 比较两个方差：逼出 分布
两样本问题： i.i.d. ， i.i.d. ，两组相互独立。想知道两个总体的波动是否一样，就要看 。自然的统计量是 ，而 、 各自只差一个常数因子就是 变量。于是：
定义 2.7（F 分布）
设 ，，且 与 独立，则称
为自由度是 的 变量（ 是分子自由度），记为 。
定义里各自除以自由度，是因为 变量的均值就是自由度：不除的话，比值天然偏向自由度大的一边；除了之后， 在 1 附近摆动，「比较」才有意义。自由度有顺序， 与 是两个不同的分布。
常用性质：若 ，则 ；若 ，则 ； 时 。查表时常用倒数公式
小时， 在表里查不到（表只印了小的 ），转成 就能查了。这是用数学性质弥补工程缺陷的典范，区间估计和假设检验里常常用到。
2.6 总装：按问题记五个推论
正态总体的均值： 已知时用 ；未知时用 （课本推论 2.3.3）。
正态总体的方差：。
指数总体的均值（寿命）：（课本推论 2.3.1）。
多元正态的点离均值多远：马氏距离 （课本推论 2.3.2）。
两个正态总体的均值差（方差相同）：见下面的 #two-sample（课本推论 2.3.4）。
两个正态总体的方差比：（课本推论 2.3.5）。
推导的手法是统一的。以均值差为例：
推论 2.8（两样本 t 统计量）
设两组样本如 2.5 节，且 。记
则
证明
四步流水线：
由 #lincomb，；
两组各用一次 #xbar-s2， 与 分别服从 、，相互独立，且都与 、 独立；
由 的再生性，；
分子标准化后是 ，分母是 ，二者独立，按 #t-dist 组装即得。
看懂这一条流水线，五个推论就都会推了。
A/B 测试与模型对比
检验是 A/B 测试的主力：新旧两版推荐算法的点击率差异是否显著，新模型在同一批测试题上是否真的更好。有一个细节常被忽略：两个模型在同一批题上评测时，两组成绩并不独立，应当逐题作差，对差值做单样本 检验，即配对检验。题目难易带来的波动在作差时抵消掉了，所以配对检验通常比把两组当成独立样本灵敏得多。
课本推论 2.3.2 的马氏距离在异常检测里很常用：用正常数据估出均值与协方差，新样本的马氏距离若超过 的上侧分位数，就报异常。也有人把它用在深度网络上检测分布外（OOD）的输入：在网络的特征上为每个类别拟合一个高斯分布，再看测试样本特征的马氏距离。
3 极限分布与次序统计量
3.1 换赛道：让
到此，正态总体的精确分布齐了。但「能求出精确分布的情形不多」，有些情形「精确分布虽可求出，表达式太复杂」（课本 2.1 节）。于是换赛道，研究 时统计量趋于什么分布。
定义 3.1（极限分布与大样本性质）
时，若统计量的分布趋于一个确定的分布，后者称为该统计量的极限分布（大样本分布）， 充分大时可以用它近似精确分布。在 的前提下研究的性质叫大样本性质， 固定时研究的性质叫小样本性质。
后半句是方法论上的澄清，容易被跳过，但很重要：区别不在样本量的大小，而在讨论问题的视角。无偏性是固定 的陈述，相合性、渐近正态性是 的陈述。后面评价估计量时，两类标准分工明确：小样本性质管精度，大样本性质管趋势。研究大样本性质的分支叫统计大样本理论，是二战后数理统计发展的主线之一，在非参数统计里占主导地位。
工具箱（课本第 2 章附录，这里按用途重组）：
强大数律：i.i.d. 且 ，则 。用来证明强相合性。
中心极限定理：。用来证明渐近正态性。
Slutsky 定理：，，则 ，。用来把未知参数换成它的估计，极限分布不变。
连续映射定理：， 连续，则 。统计量的函数继承极限分布。
Delta 方法：， 在 处可导，则 。给 的估计量配上渐近正态性。
几种收敛的关系： 几乎处处收敛 ⇒ 依概率收敛 ⇒ 依分布收敛；
收敛 ⇒ 依概率收敛；
极限是常数时，依分布收敛 ⇔ 依概率收敛。
下面这个例子的套路，在习题里出现几十次，务必练熟。
例 3.2（比例的标准化）
设 i.i.d. ，，则
先用中心极限定理处理含真参数的核心式子，再用大数律加连续映射，把估计量的比值修正到 1，最后用 Slutsky 定理一乘。这是课本例 2.5.2。
给大模型的跑分加误差棒
#wald 就是给大模型跑分加误差棒的公式。一个 1000 道题的基准测试，模型答对 80%，把每道题的对错看成一个伯努利变量，正确率的标准误是
即约 1.3 个百分点，95% 置信区间约为 80% ± 2.5%。排行榜上差 1 个百分点的两个模型，单看这个区间分不出高下。要把误差棒缩小一半，题目数得翻两番，这是 的代价。
Evan Miller 的《Adding Error Bars to Evals》系统讨论过这件事，建议的做法都是这一章的工具：用中心极限定理算标准误；题目成组出现时（比如同一篇阅读材料配几道题），用聚类标准误；比较两个模型时，逐题作差，做配对分析。
困惑度（perplexity）是平均交叉熵损失 的指数 。由 Delta 方法，取 ，困惑度的标准误约为 ，其中 是单个样本损失的标准差。同一篇文档里的 token 并不独立，实际计算时应以文档为单位。
3.2 次序统计量
到此为止，所有的压缩都是加权和。但实践中另一类压缩同样常用：排序。
定义 3.3（次序统计量）
把样本从小到大排列， 称为样本的次序统计量。它的任何一部分，如 、，也叫次序统计量。
很多场合关心的量天生带序：中位数，极值（最低温、最高流量、系统最慢的一次响应），极差 ，样本分位数。「第 小的值」这类问题，加权和回答不了。
推导分布的钥匙是课本引理 2.4.1：
即有序区域的概率是总概率的 ，因为 种排列的地位平等。
定理 3.4（次序统计量的分布）
设总体有密度 、分布函数 ，则 的联合密度为
的密度为
（）的联合密度为
单个次序统计量的密度可以「读」出来：一个点落在 附近（）， 个比它小（）， 个比它大（），再乘上分配位置的方法数 。两个次序统计量的情形同理，三段区间各贡献一个因子。
特例：极小值的密度 ，极大值的密度 。均匀总体 上，，极差的密度为 ，。
德军坦克问题（课本例 3.2.8）：二战中盟军想知道德军坦克的产量，手里有缴获坦克的序列号。设序列号是 ，观测到 个，最大的是 ，估计
这是用次序统计量估计均匀分布的上限。战后对照档案，统计方法估计的月产量是 246 辆，实际是 245 辆。同类问题今天叫「看不见的物种」估计（unseen species）：只见过一部分，估计总共有多少种，比如估计一种语言的词汇量。
top-k、best-of-N 与 Gumbel 技巧
大模型生成文本时，每一步都要在词表的概率向量里抽一个词，常用的截断方法全是次序统计量：top- 采样只保留概率最大的 个词；top- 采样（核采样）把概率从大到小排序，保留累积概率刚超过 的那一段。
best-of- 是另一个例子：让模型生成 个回答，用奖励模型打分，取最高分的那个，也就是取 。由极大值的密度 可以算出，若分数近似正态，最高分的期望大约按 的量级增长， 翻倍，收益越来越小。而且被选中的最大值系统地偏高：它往往是奖励模型恰好高估了的那个回答。这是「赢家的诅咒」，也是奖励被过度优化（reward hacking）的来源之一。
极值还有一个漂亮的用处。独立同分布变量的极大值，在适当标准化后的极限分布之一叫 Gumbel 分布。若 i.i.d. 服从标准 Gumbel 分布，则
这就是 Gumbel-max 技巧：把「按概率抽样」变成「加噪声取最大」。它的光滑版本 Gumbel-softmax，让离散采样也能反向传播。
3.3 样本分位数与 Q-Q 图
前面只给了均值、方差的极限分布，但中位数、分位数也是常用的估计（中篇讲点估计时，样本中位数要和样本均值比高低）。下面是课本定理 2.5.1。
定理 3.5（样本分位数的渐近正态性）
设 ， 满足 ，密度 在 处连续且 。若 满足 （例如 ），则
也就是说，样本分位数也渐近正态，渐近方差是 。分母里有 ：密度小的地方数据稀疏，分位数估得不准；密度大的地方估得准。比如正态总体的样本中位数，渐近方差是 ，比 的 大了约 57%。这是非参数统计的第一块基石。
Q-Q 图：把点 描出来。若样本真的来自 ，点应贴近对角线 ；偏离越远，越不像来自 。 取标准正态时就是正态 Q-Q 图：若样本来自 ，则 ，点落在一条直线上，截距和斜率反映 和 。图形是分布假设的「肉眼检验仪」。
推不出分布，就重采样
抽样分布推不出来时，机器学习实践里就用 bootstrap：从测试集里有放回地重抽同样大小的样本，重新算一遍指标，重复上千次，用这上千个值的分布近似抽样分布，读出标准误和置信区间。F1、AUC、BLEU 这类没有简单方差公式的指标，误差棒基本都靠它。
经验分布函数是次序统计量的累积版本。基于它的 Kolmogorov–Smirnov 检验，常用来检测数据漂移：线上数据的某个特征的分布，是否已经偏离了训练数据。Q-Q 图则是检查残差、检查网络激活值分布时的顺手工具。
4 小结
这一篇走完了前两关的大部分。第一关把数据压成统计量；第二关弄清统计量怎么抖：正态总体有一套精确的标准件， 与 的分布、它们的独立性，以及由此组装出的 、、；一般总体靠中心极限定理、大数律、Slutsky 三件套给出极限分布；排序则给出另一类统计量。
还留了一个问题没回答：压缩到底丢没丢信息？中篇从这里讲起，引出充分统计量和完全统计量，再用这些压缩物去估参数：矩估计与最大似然估计。
