考研笔记-数学之概率论与数理统计:参数估计(点估计)
- 2026-09-21 01:31:22
——如阅读体验不佳,可转为横屏阅读;如微信无法横屏,可尝试文末方法。
(一)基本概念
(1)点估计:设总体X的分布函数的形式已知,但它的一个或多个参数未知,借助于总体X的一个样本来估计总体未知参数的值的问题称为参数的点估计问题。
(2)估计量和估计值:设总体X的分布函数
(多于一个未知参数时可同样讨论)的形式为已知,
是待估计参数,
是总体X的一个样本,
是相应的一个样本值,点估计问题就是要构造一个适当的统计量
,用它的观察值
作为未知参数
的近似值,称
为
的估计量(估计量是统计量),称
为
的估计值。在不致混淆的情况下统称估计量和估计值为估计,并都简记为
。由于估计量是样本的函数,因此对于不同的样本值,
的估计值一般不相同。如果总体有m个未知参数
需要估计,则需要构造m个估计量
,…,
分别作为对
的估计。
(3)构造估计量的方法:矩估计法和最大似然估计法。
(二)点估计
点估计的依据是大数定律。
1.矩估计
(1)基本思想
样本原点矩依概率收敛于相应的总体原点矩,样本原点矩的连续函数依概率收敛于相应的总体原点矩的连续函数。
(2)定义
设X为连续型随机变量,其概率密度为
,或X为离散型随机变量,其分布律为
,其中
为待估参数,
是来自总体X的样本,假设总体X的前k阶(原点)矩
(X连续型)或
(X离散型),
(其中,
是X可能取值的范围)存在。一般来说,它们是
的函数。基于样本原点矩
依概率收敛于相应的总体原点矩
(
),样本原点矩的连续函数依概率收敛于相应的总体原点矩的连续函数,就可以用样本原点矩作为相应的总体原点矩的估计量,以样本原点矩的连续函数作为相应的总体原点矩的连续函数的估计量。这种估计方法称为矩估计法。
(3)具体做法
设

是包含k个未知参数
的联立方程组,一般来说,可以从中解出
,得到
,
以
代替上式中的
,
,就以
,
分别作为
,
的估计量,这种估计量称为矩估计量。矩估计量的观察值称为矩估计值。即:
①求总体的前k阶原点矩;
②解k个未知参数;
③用样本原点矩代替总体原点矩,得到参数对应的估计量。
(4)说明
矩估计法与样本的具体取值无关(虽然是通过样本的一次具体值推出的,但当样本值抽象回样本时便不再与具体的样本值有关,此时样本随机变量在样本原点矩中为常量)。
2.最大似然估计
(1)基本思想
一个试验有若干个可能结果
,如果在一次试验中
发生了,那么一般说来作出的估计应该有利于
的出现,就是使
出现的概率最大(该“概率最大”是纵向比较最大,即在
出现的概率的所有可能取值中最大,而不是横向比较,即与其它事件相比
出现的概率最大,因为认为各个事件是相互独立的,彼此无影响),这就是最大似然估计的基本思想。
(2)定义
若总体X属于离散型,其分布律
,
的形式为已知,
为待估参数,
是
可能取值的范围,设
是来自总体X的样本,则
的联合分布律为
,又设
是相应于样本
的一个样本值,易知样本
取到观察值
的概率,亦即事件
发生的概率为
,
,这一概率随
的取值而变化,它是
的函数,
称为样本的似然函数(注意,这里
是已知的样本值,是常数)。现在已经取到样本值
了,这表明取到这一样本值的概率
比较大,当然不会考虑那些不能使样本
出现的
作为的估计。再者,如果已知当
时使
取很大值,而
中的其他的值使
取很小值,我们自然认为取
作为未知参数的估计值较为合理。最大似然估计法,就是固定样本观察值
,在取值的可能范围
内挑选使似然函数
达到最大的参数值
,作为参数的估计值。即取使
,这样得到的
与样本值
有关,记为
,称为参数
的最大似然估计值,相应的统计量
称为参数
的最大似然估计量。
若总体X属于连续型,其概率密度
,
的形式已知,
为待估参数,
是
可能取值的范围,设
是来自总体X的样本,则
的联合密度为
,设
是相应于样本
的一个样本值,则随机点
落在点
的邻域(边长分别为
的n维立方体)内的概率近似地为
,其值随
的取值而变化。与离散型的情况一样,取
的估计值
使概率
取到最大值,但因子
不随
而变,故只需考虑函数
的最大值,这里
称为样本的似然函数(注意,这里
是已知的样本值,是常数)。若
,则称
为参数
的最大似然估计值,称
为参数
的最大似然估计量。
这样,确定最大似然估计量的问题归结为微分学中的求最大值的问题。很多情况下,
与
关于
可微,这时
可从方程
解得,又因
与
在同一
处取到极值,因此,
的最大似然估计
也可从方程
求得。
最大似然估计法也适用于分布中含有多个未知参数
的情况,这时,似然函数L是这些未知参数的函数,解由
,
组成的方程组,可得到各个未知参数
(
)的最大似然估计值
(
)。
(3)具体做法
(a)解最大似然方程组
,
;或
(b)似然函数的定义(含义)。
(4)性质
最大似然估计的不变性:
设
的函数
,
具有单值反函数
,
,又假设
是X的概率分布中参数
的最大似然估计,则
是
的最大似然估计。
(5)说明
最大似然估计与样本的具体取值无关(虽然是通过样本的一次具体值推出的,但当样本值抽象回样本时便不再与具体的样本值有关,此时样本随机变量在样本的似然函数中为常量)。
文章合集:
点击下方公众号主页,关注以阅读更多文章
——可选择“【右上角···】→【在浏览器中打开】”进行横屏阅读。