期望与方差

第四章开始介绍随机变量的数字特征,从随机中找规律

数学期望

数学期望 又称 均值。对于离散型变量,数学期望定义如下:

一维离散型

离散型数学期望
设离散型随机变量 $X$ 的概率分布列为 $P(X=x_i)=p_i$,$i=1,2,\cdots$,若 $\sum_{i=1}^\infty \vert x_i \vert p_i$ 绝对收敛,则称数学期望存在并等于:

这里我们对绝对收敛作一个解释,对于有限取值的随机变量,数学期望是必然存在的;但对于无穷多项的随机变量,如果不绝对收敛,则交换求和顺序可能会得到不同值,显然不符合数学期望的预期。

二项分布

特殊地,

泊松分布

几何分布

一维连续型

连续型数学期望
如果 $\int_{-\infty}^{\infty} \vert x \vert f_X(x) \dif x$ 收敛,则称 $E[X]=\int_{-\infty}^\infty x f_X(x) \dif x$ 为 $X$ 的数学期望。

均匀分布

正态分布

(一般正态分布的期望可以由期望的线性性推导)

指数分布

还有另一种求法:

补充:Gamma函数深入理解,$\Gamma(x)$ 函数是必须要掌握的函数。

二维连续型

二维连续型数学期望
$E[X,Y]=\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} xy f(x,y)\dif x\dif y$

函数的期望

定理1(离散)

设 $Y=g(X)$,$X$ 的分布律为 $P(X=x_k)=p_k$,若 $\sum_{k=1}^\infty \vert g(x_k) \vert p_k$ 收敛,则:

定理1(连续)

设 $Y=g(X)$,$X$ 的概率密度为 $f(x)$,若 $\int_{-\infty}^{+\infty} \vert g(x) \vert f(x) \dif x$ 收敛,则:

上两条式说明,我们不需要求 $g(X)$ 的分布,只需要知道 $X$ 的分布即可。

定理2(离散)

设 $Z=h(X,Y)$,$(X,Y)$ 的分布律为 $P(X=x_i, Y=y_j)=p_{ij}$,则:

定理2(连续)

设 $Z=h(X,Y)$,$(X,Y)$ 的概率密度为 $f(x,y)$,则:

特别地,$E(X)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} xf(x,y)\dif x \dif y$

数学期望的性质

性质1 常数的期望 $E(c)=c$

性质2 线性性:$E(aX+bY+c)=aE(X)+bE(Y)+c$

性质3 若 $X,Y$ 相互独立,则 $E(XY)=E(X)E(Y)$(反之不成立)

(可以用函数的期望来证明)

例题:设 $X\sim\text{B}(n,p)$,$0< p<1,n\geq1$ 求 $E(X)$

解:我们可以将 $X$ 看作 n重伯努利试验中事件 A 发生的次数,并且每次试验 $P(A)=p$。引入随机变量:
$$ X_k= \begin{cases} 1 & A发生\\ 0 & A不发生 \end{cases} $$
下标 k 表示第 k 次试验。于是 $X_1,X_2,\cdot,X_n$ 相互独立,服从 (0,1) 分布,且 $X=\sum_{k=1}^n X_k$
故 $E(X)=E(\sum_{k=1}^n X_k)=$$\sum_{k=1}^nE(X_k)=np$
(该例题说明二项分布可以分解为 相互独立 的 (0,1) 分布)

方差

方差
设 $X$ 有有限的数学期望,如果 $E[(X-E[X])^2]<\infty$,则称 $\mathrm{Var}[X]=E[(X-E[X])^2]$ 为 $X$ 的方差,记为 $D(X)$;$\sqrt{\mathrm{Var}[X]}$ 为 $X$ 的标准差,记为 $\sigma[X]$

方差表示随机变量离均值的平均波动。方差越小,说明随机变量比较集中,反之则越分散。方差的定义依赖于数学期望,所以我们可以由数学期望的性质得到方差的性质。

由函数的期望,我们可以得到:

  • 离散型:$D(X)=\sum_{i=1}^{\infty} [x_i-E(X)]^2p_i$
  • 连续型:$D(X)=\int_{-\infty}^{+\infty} [x-E(X)]^2 f(x) \dif x$

由期望的线性性,我们可以得到方差的计算公式:

上面的公式十分重要!一定要牢记。

离散型

0-1分布

二项分布

(方差的性质,后面会讲到。)

连续型

泊松分布

均匀分布

正态分布

对于 n 个独立的正态分布的线性分布,由期望的线性性,有:$\mu=c_0+c_1\mu_1+\cdots+c_n\mu_n$;由方差的性质:$\sigma=c_1^2\sigma^2+\cdots+c_n^2\sigma_n^2$,也就是说:

指数分布

方差的性质

性质1 设 c 是常数,则 $D(c)=0$

性质2 $D(cX)=c^2 D(X)$

性质3 $D(X+Y)=D(X)+D(Y)+2\cdot \text{tail}$,其中,$\text{tail}=E{[X-E(X)][Y-E(Y)]}$,若 $X,Y$ 独立,则有 $D(X+Y)=D(X)+D(Y)$

综上,若 $X,Y$ 相互独立,则 $D(aX+bY+c)=a^2 D(X)+b^2D(Y)$;

性质4 若 $D(X)=0$,则 $P(X)=c$,且 $X=E(X)$

(以上定理可以由方差的定义和期望的线性性证明)


常见分布的期望与方差总结

详细的推导见前面部分。

名称 记号 分布/密度函数 期望 方差
二项分布 $X\sim B(n,p)$ $P{X=k}=C_n^k p^k (1-p)^{n-k}$ $np$ $np(1-p)$
泊松分布 $X\sim \pi(\lambda)$ $P{X=k}=\dfrac{\lambda^k}{k!}e^{-\lambda}$ $(\lambda>0)$ $\lambda$ $\lambda$
几何分布 $X\sim G(p)$ $P(X=k)=p(1-p)^{k-1}$ $\frac{1}{p}$ $\frac{1-p}{p^2}$
均匀分布 $X\sim U(a,b)$ $f(x)=\dfrac{1}{b-a},a<x<b$ $\dfrac{a+b}{2}$ $\dfrac{(b-a)^2}{12}$
指数分布 $X\sim E(\lambda)$ $f(x)=\lambda e^{-\lambda x}, x>0$ $\dfrac{1}{\lambda}$ $\dfrac{1}{\lambda^2}$
正态分布 $X\sim N(\mu,\sigma^2)$ $f(x)=\dfrac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{\sigma^2}}$ $\mu$ $\sigma^2$