估计的评价标准

\[\begin{align*} \newcommand{\dif}{\mathop{}\!\mathrm{d}} \newcommand{\p}{\partial} \newcommand{\Cov}{\text{Cov}}\\ \newcommand{\Mse}{\mathrm{Mse}} \end{align*}\]

从上一节的几个例题中可以看出,矩估计和极大似然估计的估计量不同,那么如何选择估计量呢?这就涉及估计的评价准则。

无偏性准则

定义{:success}

若参数 $\theta$ 的估计量 $\hat{\theta}=\hat{\theta}(X_1,X_2,\cdots,X_n)$ 满足 $E(\hat{\theta})=\theta$,则称 $\hat{\theta}$ 是 $\theta$ 的 无偏估计量

若 $E(\hat{\theta})\neq \theta$,那么 $\vert E(\hat{\theta})-\theta \vert$ 称为估计量的 偏差

若 $\lim_{n\rightarrow \infty} E(\hat{\theta})=\theta$,则称 $\hat{\theta}$ 是 $\theta$ 的 渐近无偏估计量

例题:设总体 $X$ 的一阶、二阶矩存在,$E(X)=\mu$,$D(X)=\sigma^2$
证明: 样本均值 $\overline{X}$ 和样本方差 $S^2$ 分别是 $\mu$ 和 $\sigma^2$ 的无偏估计;样本的2阶中心矩 $B_2$ 是 $\sigma$ 的渐进无偏估计。

解:因为 $X_i,i=1,2,\cdots,n$ 与 $X$ 同分布,故有:
$$ E(\overline{X})=E(\frac{1}{n} \sum_{i=1}^n X_i)=\frac{1}{n}\sum_{i=1}^n E(X_i)=\mu $$
而由于 $\dfrac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)$,故:
$$ E(S^2)=\sigma^2 $$
由于 $B_2=\dfrac{n-1}{n} S^2$,故:
$$ E(B_2)=\frac{n-1}{n} E(S^2)=\frac{n-1}{n}\sigma^2\\ \lim_{n\rightarrow \infty} E(B_2)=\sigma^2 $$
得证。

注:尽管 $B_2$ 不是无偏估计,我们可以通过纠偏,即乘上一个 $\frac{n}{n-1}$ 得到无偏估计。

补充:这里有道均匀分布的例题很重要。(复习时补上)

有效性准则

定义

设 $\hat{\theta}_1$ 和 $\hat{\theta}_2$ 是 $\theta$ 的两个无偏估计。如果 $D(\hat{\theta}_1)\leq D(\hat{\theta}_2)$ 对一切 $\theta$ 成立,并且不等号至少对某一 $\theta$ 成立,则称 $\hat{\theta}_1$ 比 $\hat{\theta}_2$ 有效

补充:这里有道均匀分布的例题很重要。(复习时补上)

均方误差准则

定义

设 $\hat{\theta}$ 是参数 $\theta$ 的估计,方差存在,则称 $E(\hat{\theta}-\theta)^2$ 是估计量 $\hat{\theta}$ 的 均方误差,记为 $\Mse(\hat{\theta})$. 若 $\hat{\theta}$ 是无偏估计,则有 $\Mse(\hat{\theta})=D(\hat{\theta})$