——如阅读体验不佳,可转为横屏阅读;如微信无法横屏,可尝试文末方法。
(一)基本概念
(1)点估计:设总体X的分布函数的形式已知,但它的一个或多个参数未知,借助于总体X的一个样本来估计总体未知参数的值的问题称为参数的点估计问题。
(2)估计量和估计值:设总体X的分布函数(多于一个未知参数时可同样讨论)的形式为已知,是待估计参数,是总体X的一个样本,是相应的一个样本值,点估计问题就是要构造一个适当的统计量,用它的观察值作为未知参数的近似值,称为的估计量(估计量是统计量),称为的估计值。在不致混淆的情况下统称估计量和估计值为估计,并都简记为。由于估计量是样本的函数,因此对于不同的样本值,的估计值一般不相同。如果总体有m个未知参数需要估计,则需要构造m个估计量,…,分别作为对的估计。
(3)构造估计量的方法:矩估计法和最大似然估计法。
(二)点估计
点估计的依据是大数定律。
1.矩估计
(1)基本思想
样本原点矩依概率收敛于相应的总体原点矩,样本原点矩的连续函数依概率收敛于相应的总体原点矩的连续函数。
(2)定义
设X为连续型随机变量,其概率密度为,或X为离散型随机变量,其分布律为,其中为待估参数,是来自总体X的样本,假设总体X的前k阶(原点)矩(X连续型)或(X离散型),(其中,是X可能取值的范围)存在。一般来说,它们是的函数。基于样本原点矩依概率收敛于相应的总体原点矩(),样本原点矩的连续函数依概率收敛于相应的总体原点矩的连续函数,就可以用样本原点矩作为相应的总体原点矩的估计量,以样本原点矩的连续函数作为相应的总体原点矩的连续函数的估计量。这种估计方法称为矩估计法。
(3)具体做法
设
是包含k个未知参数的联立方程组,一般来说,可以从中解出,得到
,
以代替上式中的,,就以,分别作为,的估计量,这种估计量称为矩估计量。矩估计量的观察值称为矩估计值。即:
①求总体的前k阶原点矩;
②解k个未知参数;
③用样本原点矩代替总体原点矩,得到参数对应的估计量。
(4)说明
矩估计法与样本的具体取值无关(虽然是通过样本的一次具体值推出的,但当样本值抽象回样本时便不再与具体的样本值有关,此时样本随机变量在样本原点矩中为常量)。
2.最大似然估计
一个试验有若干个可能结果,如果在一次试验中发生了,那么一般说来作出的估计应该有利于的出现,就是使出现的概率最大(该“概率最大”是纵向比较最大,即在出现的概率的所有可能取值中最大,而不是横向比较,即与其它事件相比出现的概率最大,因为认为各个事件是相互独立的,彼此无影响),这就是最大似然估计的基本思想。
若总体X属于离散型,其分布律,的形式为已知,为待估参数,是可能取值的范围,设是来自总体X的样本,则的联合分布律为,又设是相应于样本的一个样本值,易知样本取到观察值的概率,亦即事件发生的概率为,,这一概率随的取值而变化,它是的函数,称为样本的似然函数(注意,这里是已知的样本值,是常数)。现在已经取到样本值了,这表明取到这一样本值的概率比较大,当然不会考虑那些不能使样本出现的作为的估计。再者,如果已知当时使取很大值,而中的其他的值使取很小值,我们自然认为取作为未知参数的估计值较为合理。最大似然估计法,就是固定样本观察值,在取值的可能范围内挑选使似然函数达到最大的参数值,作为参数的估计值。即取使,这样得到的与样本值有关,记为,称为参数的最大似然估计值,相应的统计量称为参数的最大似然估计量。
若总体X属于连续型,其概率密度,的形式已知,为待估参数,是可能取值的范围,设是来自总体X的样本,则的联合密度为,设是相应于样本的一个样本值,则随机点落在点的邻域(边长分别为的n维立方体)内的概率近似地为,其值随的取值而变化。与离散型的情况一样,取的估计值使概率取到最大值,但因子不随而变,故只需考虑函数的最大值,这里称为样本的似然函数(注意,这里是已知的样本值,是常数)。若,则称为参数的最大似然估计值,称为参数的最大似然估计量。
这样,确定最大似然估计量的问题归结为微分学中的求最大值的问题。很多情况下,与关于可微,这时可从方程解得,又因与在同一处取到极值,因此,的最大似然估计也可从方程求得。
最大似然估计法也适用于分布中含有多个未知参数的情况,这时,似然函数L是这些未知参数的函数,解由,组成的方程组,可得到各个未知参数()的最大似然估计值()。
(a)解最大似然方程组,;或
(b)似然函数的定义(含义)。
(4)性质
最大似然估计的不变性:
设的函数,具有单值反函数,,又假设是X的概率分布中参数的最大似然估计,则是的最大似然估计。
(5)说明
最大似然估计与样本的具体取值无关(虽然是通过样本的一次具体值推出的,但当样本值抽象回样本时便不再与具体的样本值有关,此时样本随机变量在样本的似然函数中为常量)。
文章合集:
考研数学之高等数学
考研数学之线性代数
考研数学之概率论与数理统计
考研计算机之计算机组成原理
考研计算机之数据结构
考研计算机之操作系统
考研计算机之计算机网络
点击下方公众号主页,关注以阅读更多文章
——可选择“【右上角···】→【在浏览器中打开】”进行横屏阅读。