期望与方差

第四章开始介绍随机变量的数字特征，从随机中找规律

数学期望

数学期望 又称 均值。对于离散型变量，数学期望定义如下：

一维离散型

离散型数学期望

设离散型随机变量 $X$ 的概率分布列为 $P(X=x_i)=p_i$，$i=1,2,\cdots$，若 $\sum_{i=1}^\infty \vert x_i \vert p_i$ 绝对收敛，则称数学期望存在并等于：

$$ E[X]=\sum_{i=1}^\infty x_i p_i\\ 有时候也写作 E(X)、EX $$

这里我们对绝对收敛作一个解释，对于有限取值的随机变量，数学期望是必然存在的；但对于无穷多项的随机变量，如果不绝对收敛，则交换求和顺序可能会得到不同值，显然不符合数学期望的预期。

二项分布

$$X \sim \mathrm{B}(n,p)$$$$ \begin{align} E[X]&=\sum_{k=0}^n k\cdot C_n^k p^k (1-p)^{n-k}\\ &=\sum_{k=1}^n k\frac{n!}{k!(n-k)!} p^k (1-p)^{n-k}\\ &=np\sum_{k=1}^n \frac{(n-1)!}{(k-1)!(n-1-(k-1))!} p^{k-1} (1-p)^{n-1-(k-1))}\\ &=np(p+(1-p))^{n-1}\\ &=np \end{align} $$

特殊地，

泊松分布

$$ X\sim \mathrm{Pois}(\lambda)\\ \begin{aligned} E[X]&=\sum_{k=0}^{+\infty} k\cdot \frac{\lambda^k e^{-\lambda}}{k!}\\ &=\lambda\sum_{k=0}^{+\infty} \frac{\lambda^{k-1}e^{-\lambda}}{(k-1)!}\\ &=\lambda \end{aligned} $$

几何分布

$$ X\sim G(p) \\ \begin{aligned} E[X]&= \sum_{k=0}^{+\infty} k p (1-p)^{k-1}\\ &=p\sum_{k=0}^{+\infty} \left[(1-p)^{k}\right]'\\ &=p \left[\sum_{k=0}^{+\infty }q^{k}\right]'（令q=1-p）\\ &=p \left[ \lim_{n\rightarrow \infty} \frac{q(1-q^n)}{1-q} \right]'\\ &=p \left[ \frac{q}{1-q} \right]'\\ &=p \frac{(1-q)+q}{(1-q)^2}\\ &=\frac{1}{p} \end{aligned} $$

一维连续型

连续型数学期望

如果 $\int_{-\infty}^{\infty} \vert x \vert f_X(x) \dif x$ 收敛，则称 $E[X]=\int_{-\infty}^\infty x f_X(x) \dif x$ 为 $X$ 的数学期望。

均匀分布

$$ X\sim \mathrm{U}(a,b)\\ \begin{align} E[X]&=\int_a^b x\cdot \frac{1}{b-a} \dif x\\ &=\frac{a+b}{2} \end{align} $$

正态分布

$$ X\sim \mathrm{N}(0,1)\\ 因为 \varphi(x)=\frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} 是偶函数，\\ 所以 E[X]=\int_{-\infty}^{+\infty} x\varphi(x) \dif x=0 $$$$ X\sim \mathrm{N}(\mu,\sigma^2)\\ E[X]=\mu $$

（一般正态分布的期望可以由期望的线性性推导）

指数分布

$$ X\sim\mathrm{Exp}(\lambda)，即 f_X(x)= \begin{cases} \lambda e^{-\lambda x}, & x\in (0,+\infty)\\ 0, &其他 \end{cases}\\ \begin{align} E[X]&=\int_{-\infty}^{+\infty} xf_X(x) \dif x\\ &= \int_0^{+\infty} x\cdot e^{-\lambda x} \dif (\lambda x)\\ &=-\int_0^{+\infty} x \dif (e^{-\lambda x})\\ &=\left. -xe^{-\lambda x} \right|_0^{+\infty}+\int_0^{+\infty} e^{-\lambda x} \dif x \end{align} $$

还有另一种求法：

$$ \begin{align} E[X]&=\int_0^{+\infty}x\cdot \lambda e^{-\lambda x}\dif x\\ &=\frac{1}{\lambda}\int_0^{+\infty}\lambda x e^{-\lambda x}\dif (\lambda x)\\ &=\frac{1}{\lambda}\int_0^{+\infty}y e^{-y}\dif y\\ &=\frac{1}{\lambda} \Gamma(2)\\ &=\frac{1}{\lambda} \end{align}\\ 其中，\Gamma(x)=\int_0^{+\infty} y^{x-1} e^{-y} \dif y $$

补充：Gamma函数深入理解，$\Gamma(x)$ 函数是必须要掌握的函数。

二维连续型

二维连续型数学期望

$E[X,Y]=\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} xy f(x,y)\dif x\dif y$

函数的期望

定理1（离散）{:.success}

设 $Y=g(X)$，$X$ 的分布律为 $P(X=x_k)=p_k$，若 $\sum_{k=1}^\infty \vert g(x_k) \vert p_k$ 收敛，则：

$$ E(Y)=E[g(X)]=\sum_{k=1}^\infty g(x_k) p_k $$

定理1（连续）{:.success}

设 $Y=g(X)$，$X$ 的概率密度为 $f(x)$，若 $\int_{-\infty}^{+\infty} \vert g(x) \vert f(x) \dif x$ 收敛，则：

$$ E(Y)=E(g(X))=\int_{-\infty}^{+\infty} g(x)f(x) \dif x $$

上两条式说明，我们不需要求 $g(X)$ 的分布，只需要知道 $X$ 的分布即可。

定理2（离散）

设 $Z=h(X,Y)$，$(X,Y)$ 的分布律为 $P(X=x_i, Y=y_j)=p_{ij}$，则：

$$ E(Z)=E[h(X,Y)]=\sum_{i=1}^{+\infty} \sum_{j=1}^{+\infty} h(x_i,y_j)p_{ij} $$

定理2（连续）

设 $Z=h(X,Y)$，$(X,Y)$ 的概率密度为 $f(x,y)$，则：

$$ E(Z)=E(h(X,Y))=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}h(x,y)f(x,y)\dif x\dif y $$

特别地，$E(X)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} xf(x,y)\dif x \dif y$

数学期望的性质

🌟性质①： 常数的期望 $E(c)=c$

🌟性质②： 线性性：$E(aX+bY+c)=aE(X)+bE(Y)+c$

🌟性质③： 若 $X,Y$ 相互独立，则 $E(XY)=E(X)E(Y)$（反之不成立）

（可以用函数的期望来证明）

方差

方差

设 $X$ 有有限的数学期望，如果 $E[(X-E[X])^2]<\infty$，则称 $\mathrm{Var}[X]=E[(X-E[X])^2]$ 为 $X$ 的方差，记为 $D(X)$；$\sqrt{\mathrm{Var}[X]}$ 为 $X$ 的标准差，记为 $\sigma[X]$

方差表示随机变量离均值的平均波动。方差越小，说明随机变量比较集中，反之则越分散。方差的定义依赖于数学期望，所以我们可以由数学期望的性质得到方差的性质。

由函数的期望，我们可以得到：

• 离散型：$D(X)=\sum_{i=1}^{\infty} [x_i-E(X)]^2p_i$
• 连续型：$D(X)=\int_{-\infty}^{+\infty} [x-E(X)]^2 f(x) \dif x$

由期望的线性性，我们可以得到方差的计算公式：

$$ \begin{align} D(X)&=E \left\{ [X-E(X)]^2 \right\}\\ &=E \left\{ X^2-2XE(X)+[E(X)]^2 \right\}\\ &=E(X^2)-2E(X)E(X)+[E(X)]^2\\ &=E(X^2)-[E(X)]^2 \end{align} $$

上面的公式十分重要！一定要牢记。

离散型

0-1分布

$$ E(X)=p\\ E(X^2)=0^2 \cdot(1-p)+1^2 \cdot p=p\\ D(X)=E(X^2)-[E(X)]^2=p(1-p) $$

二项分布

$$ X\sim \text{B}(n,p)\\ E(X)=np\\ D(X)=\sum_{k=1}^n D(X_i)=np(1-p) $$

（方差的性质，后面会讲到。）

连续型

泊松分布

$$ X\sim \pi(\lambda)\\ P(X=k)=\frac{\lambda^k e^{-k}}{k!}\\ E(X)=\lambda\\ \begin{align} E(X^2)&=E[X(X-1)+X]=E[X(X-1)]-E(X)\\ &=\sum_{k=0}^{+\infty} k(k-1)\frac{\lambda^k e^{-\lambda}}{k!}+\lambda= \lambda^2\sum_{k=2}^{+\infty} \frac{\lambda^{k-2} e^{-\lambda}}{(k-2)!}+\lambda\\ &=\lambda^2 \sum_{i=0}^{+\infty} \frac{\lambda^i}{i!} e^{-\lambda}+\lambda=\lambda^2+\lambda \end{align}\\ D(X)=E(X^2)-[E(X)]^2=\lambda $$

均匀分布

$$ X\sim \mathrm{U}(a,b)\\ f(X)= \begin{cases} \frac{1}{b-a} & a\lt x \lt b\\ 0 & 其他 \end{cases}\\ E(X)=\frac{a+b}{2}\\ E(X^2)\int_{-\infty}^{+\infty} x^2 f(x)=\int_a^b x^2 \frac{1}{b-a} \dif x=\frac{a^2+b^2+ab}{3}\\ D(X)=E(X^2)-[E(X)]^2=\frac{(b-a)^2}{12} $$

正态分布

$$ X\sim \text{N}(\mu,\sigma^2)\\ 令 Z=\frac{X-\mu}{\sigma}，E(Z)=0\\ D(Z)=E(Z^2)-0=\int_{-\infty}^{+\infty} t^2 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{t^2}{2}} \dif t\\ =-\frac{1}{\sqrt{2\pi}} t e^{-\frac{t^2}{2}} \Big|_{-\infty}^{+\infty}+\int_{-\infty}^{+\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{t^2}{2}} \dif t =1\\W D(X)=D(\mu+\sigma Z)=\sigma^2 D(Z)=\sigma^2 $$

对于 n 个独立的正态分布的线性分布，由期望的线性性，有：$\mu=c_0+c_1\mu_1+\cdots+c_n\mu_n$；由方差的性质：$\sigma=c_1^2\sigma^2+\cdots+c_n^2\sigma_n^2$，也就是说：

$$ c_0+c_1X_1+\cdots c_nX_n\\ \sim \text{N}(c_0+c_1\mu_1+\cdots+c_n\mu_n, \\c_1^2\sigma^2+\cdots+c_n^2\sigma_n^2) $$

指数分布

$$ X\sim \mathrm{E}(a,b)\\ f(x)= \begin{cases} \lambda e^{-\lambda x} & x>0\\ 0 & x\leq0 \end{cases}\\ E(X)=1/\lambda\\ E(X^2)=\int_0^{+\infty} x^2 \lambda e^{-\lambda x}\dif x\\ =-x^2 e^{-\lambda x} \Big|_0^{+\infty}+\int_0^{+\infty} 2x e^{-\lambda x}\dif x=2/\lambda^2\\ D(X)=E(X^2)-[E(X)]^2=2/\lambda^2-1/\lambda^2=1/\lambda^2 $$

方差的性质

🌟性质①： 设 c 是常数，则 $D(c)=0$

🌟性质②： $D(cX)=c^2 D(X)$

🌟性质③： $D(X+Y)=D(X)+D(Y)+2\cdot \text{tail}$，其中，$\text{tail}=E\{[X-E(X)][Y-E(Y)]\}$，若 $X,Y$ 独立，则有 $D(X+Y)=D(X)+D(Y)$

综上，若 $X,Y$ 相互独立，则 $D(aX+bY+c)=a^2 D(X)+b^2D(Y)$；

🌟性质④： 若 $D(X)=0$，则 $P(X)=c$，且 $X=E(X)$

（以上定理可以由方差的定义和期望的线性性证明）

---

常见分布的期望与方差总结

详细的推导见前面部分。

名称	记号	分布/密度函数	期望	方差
二项分布	$X\sim B(n,p)$	$P\{X=k\}=C_n^k p^k (1-p)^{n-k}$	$np$	$np(1-p)$
泊松分布	$X\sim \pi(\lambda)$	$P\{X=k\}=\dfrac{\lambda^k}{k!}e^{-\lambda}$ $(\lambda>0)$	$\lambda$	$\lambda$
几何分布	$X\sim G(p)$	$P(X=k)=p(1-p)^{k-1}$	$\frac{1}{p}$	$\frac{1-p}{p^2}$
均匀分布	$X\sim U(a,b)$	$f(x)=\dfrac{1}{b-a},a< x	$\dfrac{a+b}{2}$	$\dfrac{(b-a)^2}{12}$
指数分布	$X\sim E(\lambda)$	$f(x)=\lambda e^{-\lambda x}, x>0$	$\dfrac{1}{\lambda}$	$\dfrac{1}{\lambda^2}$
正态分布	$X\sim N(\mu,\sigma^2)$	$f(x)=\dfrac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{\sigma^2}}$	$\mu$	$\sigma^2$