数理统计复习:第四章
- 2026-11-01 16:39:28
在前三章的数理统计学习中，我们的认知主线是围绕信息压缩与点估计展开的：
小样本情形：原始样本数据量庞大且杂乱，必须对信息进行充分提炼与压缩，从而引出了充分统计量；为追求最极致的压缩，进一步定义了极小充分统计量；为了度量点估计的好坏，建立了无偏性标准与方差极小化的追求（UMVUE）；为了保证最佳无偏估计的唯一性，引入了完备性，最终通过 Rao–Blackwell 定理与 Lehmann–Scheffé 定理完成了小样本均方误差最优估计的闭环。
大样本情形：当样本量趋于无穷时，我们放宽了严格无偏的要求，转而追求渐近优良性（如强/弱相合性、渐近正态性），并借助 Cramér–Rao 正则族与最大似然估计（MLE）达到了渐近方差下界。
然而，点估计存在一个本质上的先天缺陷：在连续总体下，真参数 取某个特定单点值的概率为 0，即对任何点估计量 ，均有 。
这意味着，点估计给出的数值几乎必然是「不准确」的；更为严重的是，单凭一个孤立的数字 （例如 ），我们完全无法判断其误差边界与可信程度。它究竟是精密的 ，还是粗糙的 ？
为了解决这一问题，最自然的想法就是：放弃对单点的执念，转向给出一个包含真参数的「可能范围」，同时给出我们对这个范围能够盖住真参数的「把握程度」。这就是第四章：区间估计的诞生起点。
1 基本概念：矛盾与妥协
1.1 核心矛盾：可靠度与精度的博弈
设总体分布族为 ，样本为 。若选取两个统计量 ，构成的随机区间 即为一个区间估计。
评估一个区间估计的优劣，直观上必然包含两个互相冲突的维度：
可靠度（置信水平）：该区间包含真参数 的概率 。我们希望概率越接近 1 越好。
精度（精确度）：区间的平均长度 。我们希望长度越短越好。
根本矛盾：对于给定的固定样本容量 ，这两个指标是天然对立的：
如果追求 100% 的绝对可靠，我们可以取区间为 ，它必然 100% 覆盖真参数，但毫无精度可言，纯属废话； 如果追求极致的精度（区间长度缩减为 0，退化为点估计），覆盖概率立即坍缩为 0。
1.2 奈曼（Neyman）妥协方案：置信区间的正式定义
面对这一鱼与熊掌不可兼得的矛盾，著名统计学家 Jerzy Neyman 提出了现代频率学派的经典折中原则，「先守住底线，再追求极致」：先人为设定一个极高的可靠度底线（记为 ，例如 0.95 或 0.99），在所有可靠度不低于该底线的区间中，寻找使得平均长度尽可能短的区间。
基于此原则，引出以下核心定义（课本定义 4.1.2、4.1.3）：
定义 1.1（置信水平、置信系数与置信区间）
设 是参数 的区间估计。
置信水平（Confidence Level）：概率 称为该区间的置信水平。
置信系数（Confidence Coefficient）：置信水平在整个参数空间 上的下确界：
置信区间：若对给定的 ，恒有
则称 为 的置信水平（或置信系数）为 的置信区间（Confidence Interval, CI）。
评注 1.2（频率学派的哲学释义，重中之重）
在频率学派框架下，真参数 是客观存在但未知的确定常数，不是随机变量！随机的是由样本构造的区间本身 。
一旦具体的样本观测值 被抽出，算得具体的数值区间（例如 ），真参数 要么落在里面，要么落在外面，概率非 0 即 1。所谓「置信度 95%」，是指：若在相同条件下重复抽取大量独立样本并分别构造区间，在长期的重复试验中，平均有 95% 的随机区间能够成功「网住」真参数 。
1.3 现实需求的变体：单侧置信限
在工程实践中，很多时候人们只关心单向指标：
零件的抗拉强度、电池的使用寿命：只关心最低不低于多少（需要置信下限 ）； 仪器的故障率、药品中的有害杂质：只关心最高不超过多少（需要置信上限 ）。
下面是课本定义 4.1.4。
定义 1.3（单侧置信限）
若 ，则称 为水平 的置信上限；若 ，则称 为水平 的置信下限。
单侧置信限与双侧置信区间具有极其自然的可拆解性（课本引理 4.1.1）：
引理 1.4（单侧拼合双侧定理）
设 与 分别是 的水平为 和 的单侧置信下限与置信上限，且对一切样本均有 ，则随机区间 是 的水平为 的双侧置信区间。
证明
考虑三个互不相容的事件：
因为 ，这三个事件的并集构成了样本空间的全集（必然事件），故 。由单侧置信限的定义：
从而：
2 构造区间估计的核心方法：枢轴变量法
知道了什么是好的置信区间，接下来的首要问题是：如何构造出这样的区间？ 直接从条件 入手极其困难，因为统计量通常依赖于未知参数 ，其分布往往也随着未知参数改变，导致无法求解确定的分位数。
为了破解这一难题，最直接、最具普适性的工具便是枢轴变量法（Pivotal Quantity Method）。
2.1 什么是枢轴变量
定义 2.1（枢轴变量）
枢轴变量（Pivot） 必须满足两条本质属性：
形式上：它显式地包含样本 与待估参数 ；
分布上：它作为一个随机变量，其抽样分布完全确定且已知，不依赖于任何未知参数（既不依赖待估参数 ，也不依赖任何冗余/讨厌参数）。
2.2 枢轴变量构造三步法
寻找良好的基础统计量：通常取参数 的良好点估计量 （如充分统计量、UMVUE 或 MLE）； 消去未知参数构造枢轴量：将 与待估参数 进行组合（如中心化、标准化、除以尺度参数），消除分布中对未知参数的依赖，得到分布已知的枢轴量 ； 选定分位数反解不等式：根据预先设定的置信水平 ，在已知分布 中选取常数 ，使得
若 关于 严格单调，解不等式 即可反解出形如 的不等式，完成置信区间的构造。
3 正态总体参数的精确置信区间：小样本理论的典范
为什么从正态总体出发？因为在正态假定下，前几章推导的三大抽样分布定理（ 与 相互独立、 分布、 分布与 分布）能够提供极其精巧且解析性质完美的精确枢轴量。
设 ，样本均值为 ，样本方差为 。
3.1 单个正态总体的参数估计
总体均值 的置信区间： 已知
基础估计：。
构造枢轴量：标准化即得标准正态变量：
置信区间：利用标准正态分布的对称单峰性，选取双侧等尾分位数 ，反解得：
总体均值 的置信区间： 未知（学生氏的伟大贡献）
认知困境： 未知，上述 不再是枢轴量（含未知扰动参数 ）。
解决之道：用样本标准差 代替 。根据样本方差的抽样分布 且与 独立，构造比值：
置信区间：利用学生氏 分布的对称性，选取分位数 ，反解得：
总体方差 的置信区间
构造枢轴量：
置信区间：由于 分布不对称，通常选取等尾分位数 与 ：
两边取倒数并反解 （注意不等号方向颠倒）：
评注 3.1（为什么等尾区间在均值情形最优，在方差情形却不是最短的）
均值情形（ 或 分布）：密度函数 严格关于 0 对称且单峰。可以严格证明：在所有满足 的区间中，区间长度 达到最小值的充要条件是 。由对称单峰性， 必然导致 ，因此等尾区间自然就是平均长度最短的最优区间！
方差情形（ 分布）：密度函数偏斜。要使区间长度 最小，需要对拉格朗日函数求驻点，最优条件为 ，它不是等尾的！但由于最优非等尾分位数必须数值求解且无现成数表，实践中通常牺牲微小的长度精度，采用查表极为方便的等尾区间。
3.2 两个正态总体的参数比较
设样本 ，独立于样本 。
均值差 的估计：两方差相等且未知
此时 。
点估计：。
信息合并（池化方差 Pooled Variance）：为无偏估计公共方差 ，将两个独立样本的离差平方和合并：
易知 。
构造枢轴量：
置信区间：
方差比 的估计
利用两组样本方差比构造枢轴变量：
选取等尾分位数，反解得置信区间：
利用 分布性质 ，上界可方便地通过查表求得：。
问题 3.2（统计学百年名题：Behrens–Fisher 问题）
当 且均未知时，若尝试构造统计量
会发现分母方差是两个独立卡方变量的线性加权组合 ，权重依赖于未知的比值 ！因此 根本不是经典的 分布，且无法构造出不含讨厌参数的精确枢轴量。
Welch 近似法：通过匹配前二阶矩（Satterthwaite 近似），用自由度为 的学生氏 分布去拟合分母，其中：
从而得到广泛适用的工程近似置信区间。
4 非正态总体的区间估计：小样本与大样本
脱离了正态分布的舒适区，我们该如何构造区间估计？此时方法分为两条截然不同的路线：
小样本路线：针对特殊族（如指数族、尺度族），利用充分统计量的精确代数性质寻找特种枢轴量； 大样本路线：放弃对有限样本精确分布的苛求，借助中心极限定理（CLT）和 Slutsky 定理，利用渐近正态性构造近似置信区间。
4.1 小样本特殊方法
例 4.1（指数分布 Exp(λ)）
密度为 。极小充分完备统计量为 。由卡方分布与伽马分布的关系：
选取等尾分位数，即可反解出参数 的精确置信区间：
例 4.2（均匀分布 U(0, θ)：绝对最优非等尾区间的绝美展现）
均匀分布 的充分统计量是极值统计量 。
构造枢轴量：由于 ，故 的分布与 无关。为便于反解，构造 ，通过变量替换，求得其密度函数为：
完全不依赖未知参数 ！
寻求最高精度（最短长度）：设区间为 ，其中 。覆盖条件为：
区间的平均长度为 。要使长度最短，等价于在约束 下极小化 。
4.2 大样本方法：从有限到渐近的跳跃
当样本量 很大时，由中心极限定理与渐近理论，几乎所有正则模型的估计量都会汇聚于正态分布。
基于 MLE 渐近有效性的万能置信区间
在第三章中，对于满足 Cramér–Rao 正则条件的总体族，MLE 具有相合渐近正态性（CAN）：
其中 为单个样本的 Fisher 信息量。
Slutsky 变换：由于 仍含未知参数，由大数定律与连续映射定理，。根据 Slutsky 定理：
通用渐近置信区间：
二项总体比率 的大样本估计：Wilson 得分区间 vs Wald 区间
设 ，点估计 。由棣莫弗–拉普拉斯中心极限定理：
路线一：Wilson 得分区间（Score Interval），精确反解
保留分母中的真参数 ，直接求解概率不等式：
展开整理后，这是关于待估参数 的一个严格的一元二次不等式！其判别式恒大于 0，解出不等式的两根，即得到著名的 Wilson 得分区间：
评注 4.3（Wilson 区间的精妙之处）
观察它的中心点：，它不再是 ，而是相当于给样本人为增加了「两个成功、两个失败」（当 时）的平滑估计！即使在样本量较小或 接近 0 或 1 时，覆盖率表现依然极其优异。
路线二：Wald 区间，简易但粗糙的二次近似
用 直接替换分母中的 ，利用 Slutsky 定理得到：
局限：虽然形式简单，但在 接近边界（如 ）时，覆盖率会严重跳水，经常发生「宣称 95% 置信度，实际覆盖率不足 80%」的惨状。
样本容量保底规划（Sample Size Planning）
若要求 Wald 区间长度不超过 ，解不等式 得：
由于在试验前 未知，利用不等式 （在 处取等），可得绝不超差的最保守安全样本容量：
5 计算密集型方法：自助法（Bootstrap）置信区间
当总体分布未知、非正态，且样本容量 处于「尴尬区间」（例如 ，既无法用小样本精确分布，中心极限定理的大样本正态近似又尚未收敛），理论数学推导陷入绝境。
1979 年，Bradley Efron 提出了震撼统计学界的 Bootstrap 方法。它的核心哲学是：「与其向天祈求未知的总体分布 ，不如把手头唯一的样本观测值视作一个『微型总体』。」
5.1 经验分布与重抽样机制
设观测样本为 ，其对应的经验分布函数为：
依 Glivenko–Cantelli 定理， 几乎必然一致收敛于总体真实分布 。
自助重抽样（Bootstrap Resampling）：从样本 中进行有放回地随机抽样，每次抽取容量仍为 的样本 。
世界观映射：
5.2 基本自助置信区间（Basic Bootstrap CI）
构造思想：我们真正关心的误差是 的抽样分布。在 Bootstrap 世界中，我们用 的分布去模拟 的分布。
设由计算机重复 次（如 ）重抽样，得到 个自助估计值 。求出它们对应的分位数： 与 。
因为 的分位数分别为 和 ，我们模拟的不等式为：
将两边不等式反解隔离真参数 ：
从而得到基本自助置信区间：
评注 5.1（注意翻转）
上分位数进入了左端点，下分位数进入了右端点！这是反解不等式时的负号所带来的必然数学结果。
6 认识论的决裂：贝叶斯区间估计
6.1 频率学派置信区间的尴尬与贝叶斯的救赎
频率学派对置信区间的定义始终面临着现实应用者的诘难：当实验室辛辛苦苦测得一组数据并算出一个 95% 置信区间 后，委托方询问：「参数 落在 里面的概率是 95% 吗？」频率学派统计学家只能严肃地回答：「不是！真参数要么在里面要么在外面，概率非 0 即 1。」
贝叶斯学派彻底打破了这一教条：参数 不再是冰冷孤立的确定常数，而是包含主观/客观不确定性的随机变量。结合先验分布 与样本似然 ，通过贝叶斯定理更新出后验分布 。在给定眼前这批确定观测值 的条件下，参数 的所有不确定性完全凝聚在后验分布中。
6.2 可信区间（Credible Interval）
下面是课本定义 4.5.1。
定义 6.1（Bayes 可信区间）
若后验概率满足：
则称 为 的水平为 的 Bayes 可信区间（Credible Interval）。
评注 6.2（释义的解放）
在这里，我们终于可以堂堂正正地说：「根据当前获取的所有信息，参数 落在该区间内的后验概率确实是 ！」
6.3 最高后验密度区间（HPD Credible Interval）
对同一个后验分布，积分面积为 的可信区间有无穷多个。我们理所当然希望找到区间长度（或多维体积）最短的最优可信区间。
下面是课本定义 4.5.2。
定义 6.3（HPD 可信集）
称集合 为 的水平为 的最高后验密度（Highest Posterior Density, HPD）可信集，若满足：
；
对任意 及 ，均有 。
几何直观极其优雅：用一条水平线由高到低向下「截取」后验概率密度曲线，截出来的区域天然地容纳了概率密度最高的部分，直至下方所围面积正好等于 为止。
定理 6.4（HPD 区间的绝对最短性）
设后验密度为 。在所有置信水平为 的可信集（具有相同后验概率测度）中，HPD 区域 的勒贝格测度（即区间长度/体积 ）达到最小值！
证明（类比 Neyman–Pearson 引理）
设 是任意一个满足 的可信集。由概率相等条件：
从两边同时减去交集 上的积分，得到：
注意被积点集的位置：
在集合 内，因为属于 ，按 HPD 定义恒有 ；
在集合 内，因为不属于 ，按 HPD 定义恒有 。
于是建立不等式链：
两边同除以正数常数 ：
两边同时加上交集的体积 ：
即 。证毕！HPD 区间无可争议地具有最短长度。
7 历史回响与第三种道路：Fisher 信仰推断法
统计学巨匠 R. A. Fisher 既看不上频率学派「区间在抽样中动、参数不动」的冗长解释，又极其反感贝叶斯学派引入主观「先验分布」的做法。他试图走出一条纯粹从样本本身反解出参数后验分布的奇特道路——信仰推断（Fiducial Inference）。
7.1 信仰翻转的核心机制
设 ，充分统计量为 。将其改写为含有标准正态随机误差 的生成模型：
在频率学派中，这是已知 时关于数据 的分布。然而 Fisher 提出了一个激进的「信仰翻转」：当试验完成，具体的数值 已经确定地摆在面前，而未知的是 ！我们何不直接将式子关于 移项：
既然 是随机的，那么在给定数据 后， 本身就诱导出了一个分布：！
Fisher 将这个无需任何先验分布直接由数据解出来的分布称为 的信仰分布（Fiducial Distribution）。由此算出的区间称为信仰区间。
7.2 信仰理论的幻灭与启示
在单参数正态等简单模型中，信仰区间算出来的数值边界与 Neyman 置信区间完全一致。然而，当扩展到多维参数（如 Behrens–Fisher 问题，见 #behrens-fisher）时，Fisher 导出的信仰分布与真正的频率置信系数发生了偏差（Neyman 证明 Fisher 的信仰区间在经典频率意义下的覆盖率并不等于 nominal 标称水平）。由于信仰推断无法建立如柯尔莫哥洛夫公理化那般坚实的数学基础，且缺乏一套公理化唯一确定信仰分布的通用准则，这一理论最终未能在现代主流统计推断中确立统领地位，但它深刻启发了后来的结构推断与广义枢轴量理论。
8 视角切换：容忍区间与容忍限
8.1 为什么要引入容忍区间？（对象维度的跃迁）
请务必分清以下三个层级概念的巨大差异：
置信区间（CI）：估计的是总体参数（如总体均值 、方差 ）。
预测区间（PI）：预测的是未来单次观测值 落在何处。
容忍区间（Tolerance Interval, TI）：工业质量控制与合格评定中最迫切的需求。
实际工程痛点：飞机轴承出厂质检，客户绝不会满足于「轴承平均直径落入合格范围」（这是置信区间做的事），哪怕均值完美达标，只要有 5% 的轴承尺寸超差，飞机就会坠毁！工厂必须承诺：「我有 95% 的把握保证，这批产品中至少有 99% 的合格个体都落在指定尺寸范围内！」
这就是容忍区间：用样本构造一个区间 ，使其以极高的置信度（如 ），覆盖总体分布中绝大多数（如 ）的个体！
8.2 容忍区间的严格双层概率定义
下面是课本定义 4.7.1。
定义 8.1（容忍区间与容忍限）
设总体分布为 。由样本确定的统计量 称为水平为 的容忍区间，若满足：
等价的单侧形式为容忍下限 与容忍上限 ：
评注 8.2（双层概率的本质拆解）
内层： 是个体覆盖比例（总体在该区间上的测度），它本身是一个依赖于样本 的随机变量；
外层： 是关于样本抽样分布的概率。我们要求「该随机覆盖比例不低于 」这一事件发生的把握度不低于 。
下面是课本引理 4.7.1。
引理 8.3（容忍限合成容忍区间）
若 和 分别是水平为 的容忍下限和容忍上限，且恒有 ，则 必然构成水平为 的容忍区间。
证明
记事件 ，事件 。由单侧定义：，。当 与 同时发生时，必有：
因此事件之交 包含在目标事件 之中。由 Bonferroni 不等式：
8.3 非参数容忍区间：次序统计量与万能概率积分变换
如果不知道总体是正态分布，该如何构造容忍区间？这是数理统计中最为精妙的结论之一，它完全不依赖任何分布形式假定！
下面是课本引理 4.7.2。
引理 8.4（连续型概率积分变换定理）
设一维连续型随机变量 ，则变换后的随机变量 严格服从标准均匀分布 。
证明
对任意 ，记分位数点 。由 的连续性与单调性，，且 。因此：
这正是标准均匀分布 的分布函数！
推论 8.5（次序统计量覆盖率的完全分布无关性）
设总体样本为 ，次序统计量为 。若以某对次序统计量 （）作为容忍区间，其覆盖的总体比例为：
其中 是来自标准均匀分布 的次序统计量。由统计三大分布的经典性质可知，均匀分布次序统计量的差值严格服从 Beta 分布：
其分布与真实总体分布 彻底脱钩！
特例：由极值次序统计量确定最小样本容量
工程上最常用整个样本的覆盖极差 作为容忍区间。此时需要多大的样本量 ？
取 ，此时覆盖比例为 。
考察容忍上限 ：要求 。由于 ，其密度为 。概率计算为：
令其不小于置信度 ：
两边取自然对数（注意 ）：
例 8.6（直观数字算例）
若要求以 95% 的把握（），确保最大的产品尺寸 能够盖住总体中至少 90% 的个体（）：
无需知道任何总体分布，只需抽取 29 个样本，其最大观测值就必定有 95% 的把握超过总体中 90% 的个体！ 这就是数理统计理论无与伦比的优雅与力量。
