第四章开始介绍随机变量的数字特征，从随机中找规律
数学期望
数学期望 又称 均值。对于离散型变量，数学期望定义如下：
一维离散型
- 离散型数学期望
- 设离散型随机变量 $X$ 的概率分布列为 $P(X=x_i)=p_i$，$i=1,2,\cdots$，若 $\sum_{i=1}^\infty \vert x_i \vert p_i$ 绝对收敛，则称数学期望存在并等于：
这里我们对绝对收敛作一个解释，对于有限取值的随机变量，数学期望是必然存在的；但对于无穷多项的随机变量，如果不绝对收敛，则交换求和顺序可能会得到不同值，显然不符合数学期望的预期。
二项分布
\[X\sim \mathrm{B}(n,p)\\ \begin{align} E[X]&=\sum_{k=0}^n k\cdot C_n^k p^k (1-p)^{n-k}\\ &=\sum_{k=1}^n k\frac{n!}{k!(n-k)!} p^k (1-p)^{n-k}\\ &=np\sum_{k=1}^n \frac{(n-1)!}{(k-1)!(n-1-(k-1))!} p^{k-1} (1-p)^{n-1-(k-1))}\\ &=np(p+(1-p))^{n-1}\\ &=np \end{align}\]特殊地，
泊松分布
\[X\sim \mathrm{Pois}(\lambda)\\ \begin{aligned} E[X]&=\sum_{k=0}^{+\infty} k\cdot \frac{\lambda^k e^{-\lambda}}{k!}\\ &=\lambda\sum_{k=0}^{+\infty} \frac{\lambda^{k-1}e^{-\lambda}}{(k-1)!}\\ &=\lambda \end{aligned}\]几何分布
\[X\sim G(p) \\ \begin{aligned} E[X]&= \sum_{k=0}^{+\infty} k p (1-p)^{k-1}\\ &=p\sum_{k=0}^{+\infty} \left[(1-p)^{k}\right]'\\ &=p \left[\sum_{k=0}^{+\infty }q^{k}\right]'（令q=1-p）\\ &=p \left[ \lim_{n\rightarrow \infty} \frac{q(1-q^n)}{1-q} \right]'\\ &=p \left[ \frac{q}{1-q} \right]'\\ &=p \frac{(1-q)+q}{(1-q)^2}\\ &=\frac{1}{p} \end{aligned}\]一维连续型
- 连续型数学期望
- 如果 $\int_{-\infty}^{\infty} \vert x \vert f_X(x) \dif x$ 收敛，则称 $E[X]=\int_{-\infty}^\infty x f_X(x) \dif x$ 为 $X$ 的数学期望。
均匀分布
\[X\sim \mathrm{U}(a,b)\\ \begin{align} E[X]&=\int_a^b x\cdot \frac{1}{b-a} \dif x\\ &=\frac{a+b}{2} \end{align}\]正态分布
\[X\sim \mathrm{N}(0,1)\\ 因为 \varphi(x)=\frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} 是偶函数，\\ 所以 E[X]=\int_{-\infty}^{+\infty} x\varphi(x) \dif x=0\] \[X\sim \mathrm{N}(\mu,\sigma^2)\\ E[X]=\mu\]（一般正态分布的期望可以由期望的线性性推导）
指数分布
\[X\sim\mathrm{Exp}(\lambda)，即 f_X(x)= \begin{cases} \lambda e^{-\lambda x}, & x\in (0,+\infty)\\ 0, &其他 \end{cases}\\ \begin{align} E[X]&=\int_{-\infty}^{+\infty} xf_X(x) \dif x\\ &= \int_0^{+\infty} x\cdot e^{-\lambda x} \dif (\lambda x)\\ &=-\int_0^{+\infty} x \dif (e^{-\lambda x})\\ &=\left. -xe^{-\lambda x} \right|_0^{+\infty}+\int_0^{+\infty} e^{-\lambda x} \dif x \end{align}\]还有另一种求法：
\[\begin{align} E[X]&=\int_0^{+\infty}x\cdot \lambda e^{-\lambda x}\dif x\\ &=\frac{1}{\lambda}\int_0^{+\infty}\lambda x e^{-\lambda x}\dif (\lambda x)\\ &=\frac{1}{\lambda}\int_0^{+\infty}y e^{-y}\dif y\\ &=\frac{1}{\lambda} \Gamma(2)\\ &=\frac{1}{\lambda} \end{align}\\ 其中，\Gamma(x)=\int_0^{+\infty} y^{x-1} e^{-y} \dif y\]补充：Gamma函数深入理解，$\Gamma(x)$ 函数是必须要掌握的函数。
二维连续型
- 二维连续型数学期望
- $E[X,Y]=\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} xy f(x,y)\dif x\dif y$
函数的期望
定理1（离散）
设 $Y=g(X)$，$X$ 的分布律为 $P(X=x_k)=p_k$，若 $\sum_{k=1}^\infty \vert g(x_k) \vert p_k$ 收敛，则：
\[E(Y)=E[g(X)]=\sum_{k=1}^\infty g(x_k) p_k\]定理1（连续）
设 $Y=g(X)$，$X$ 的概率密度为 $f(x)$，若 $\int_{-\infty}^{+\infty} \vert g(x) \vert f(x) \dif x$ 收敛，则：
\[E(Y)=E(g(X))=\int_{-\infty}^{+\infty} g(x)f(x) \dif x\]上两条式说明，我们不需要求 $g(X)$ 的分布，只需要知道 $X$ 的分布即可。
定理2（离散）
设 $Z=h(X,Y)$，$(X,Y)$ 的分布律为 $P(X=x_i, Y=y_j)=p_{ij}$，则：
\[E(Z)=E[h(X,Y)]=\sum_{i=1}^{+\infty} \sum_{j=1}^{+\infty} h(x_i,y_j)p_{ij}\]定理2（连续）
设 $Z=h(X,Y)$，$(X,Y)$ 的概率密度为 $f(x,y)$，则：
\[E(Z)=E(h(X,Y))=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}h(x,y)f(x,y)\dif x\dif y\]特别地，$E(X)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} xf(x,y)\dif x \dif y$
数学期望的性质
性质1 常数的期望 $E(c)=c$
性质2 线性性：$E(aX+bY+c)=aE(X)+bE(Y)+c$
性质3 若 $X,Y$ 相互独立，则 $E(XY)=E(X)E(Y)$（反之不成立）
（可以用函数的期望来证明）
例题：设 $X\sim\text{B}(n,p)$，$0< p<1,n\geq1$ 求 $E(X)$
解：我们可以将 $X$ 看作 n重伯努利试验中事件 A 发生的次数，并且每次试验 $P(A)=p$。引入随机变量：
$$
X_k=
\begin{cases}
1 & A发生\\
0 & A不发生
\end{cases}
$$
下标 k 表示第 k 次试验。于是 $X_1,X_2,\cdot,X_n$ 相互独立，服从 (0,1) 分布，且 $X=\sum_{k=1}^n X_k$
故 $E(X)=E(\sum_{k=1}^n X_k)=$$\sum_{k=1}^nE(X_k)=np$
（该例题说明二项分布可以分解为 相互独立 的 (0,1) 分布）
方差
- 方差
- 设 $X$ 有有限的数学期望，如果 $E[(X-E[X])^2]<\infty$，则称 $\mathrm{Var}[X]=E[(X-E[X])^2]$ 为 $X$ 的方差，记为 $D(X)$；$\sqrt{\mathrm{Var}[X]}$ 为 $X$ 的标准差，记为 $\sigma[X]$
方差表示随机变量离均值的平均波动。方差越小，说明随机变量比较集中，反之则越分散。方差的定义依赖于数学期望，所以我们可以由数学期望的性质得到方差的性质。
由函数的期望，我们可以得到：
- 离散型：$D(X)=\sum_{i=1}^{\infty} [x_i-E(X)]^2p_i$
- 连续型：$D(X)=\int_{-\infty}^{+\infty} [x-E(X)]^2 f(x) \dif x$
由期望的线性性，我们可以得到方差的计算公式：
\[\begin{align} D(X)&=E \left\{ [X-E(X)]^2 \right\}\\ &=E \left\{ X^2-2XE(X)+[E(X)]^2 \right\}\\ &=E(X^2)-2E(X)E(X)+[E(X)]^2\\ &=E(X^2)-[E(X)]^2 \end{align}\]上面的公式十分重要！一定要牢记。
离散型
0-1分布
\[E(X)=p\\ E(X^2)=0^2 \cdot(1-p)+1^2 \cdot p=p\\ D(X)=E(X^2)-[E(X)]^2=p(1-p)\]二项分布
\[X\sim \text{B}(n,p)\\ E(X)=np\\ D(X)=\sum_{k=1}^n D(X_i)=np(1-p)\]（方差的性质，后面会讲到。）
连续型
泊松分布
\[X\sim \pi(\lambda)\\ P(X=k)=\frac{\lambda^k e^{-k}}{k!}\\ E(X)=\lambda\\ \begin{align} E(X^2)&=E[X(X-1)+X]=E[X(X-1)]-E(X)\\ &=\sum_{k=0}^{+\infty} k(k-1)\frac{\lambda^k e^{-\lambda}}{k!}+\lambda= \lambda^2\sum_{k=2}^{+\infty} \frac{\lambda^{k-2} e^{-\lambda}}{(k-2)!}+\lambda\\ &=\lambda^2 \sum_{i=0}^{+\infty} \frac{\lambda^i}{i!} e^{-\lambda}+\lambda=\lambda^2+\lambda \end{align}\\ D(X)=E(X^2)-[E(X)]^2=\lambda\]均匀分布
\[X\sim \mathrm{U}(a,b)\\ f(X)= \begin{cases} \frac{1}{b-a} & a<x<b\\ 0 & 其他 \end{cases}\\ E(X)=\frac{a+b}{2}\\ E(X^2)\int_{-\infty}^{+\infty} x^2 f(x)=\int_a^b x^2 \frac{1}{b-a} \dif x=\frac{a^2+b^2+ab}{3}\\ D(X)=E(X^2)-[E(X)]^2=\frac{(b-a)^2}{12}\]正态分布
\[X\sim \text{N}(\mu,\sigma^2)\\ 令 Z=\frac{X-\mu}{\sigma}，E(Z)=0\\ D(Z)=E(Z^2)-0=\int_{-\infty}^{+\infty} t^2 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{t^2}{2}} \dif t\\ =-\frac{1}{\sqrt{2\pi}} t e^{-\frac{t^2}{2}} \Big|_{-\infty}^{+\infty}+\int_{-\infty}^{+\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{t^2}{2}} \dif t =1\\W D(X)=D(\mu+\sigma Z)=\sigma^2 D(Z)=\sigma^2\]对于 n 个独立的正态分布的线性分布，由期望的线性性，有：$\mu=c_0+c_1\mu_1+\cdots+c_n\mu_n$；由方差的性质：$\sigma=c_1^2\sigma^2+\cdots+c_n^2\sigma_n^2$，也就是说：
\[c_0+c_1X_1+\cdots c_nX_n\\ \sim \text{N}(c_0+c_1\mu_1+\cdots+c_n\mu_n, \\c_1^2\sigma^2+\cdots+c_n^2\sigma_n^2)\]指数分布
\[X\sim \mathrm{E}(a,b)\\ f(x)= \begin{cases} \lambda e^{-\lambda x} & x>0\\ 0 & x\leq0 \end{cases}\\ E(X)=1/\lambda\\ E(X^2)=\int_0^{+\infty} x^2 \lambda e^{-\lambda x}\dif x\\ =-x^2 e^{-\lambda x} \Big|_0^{+\infty}+\int_0^{+\infty} 2x e^{-\lambda x}\dif x=2/\lambda^2\\ D(X)=E(X^2)-[E(X)]^2=2/\lambda^2-1/\lambda^2=1/\lambda^2\]方差的性质
性质1 设 c 是常数，则 $D(c)=0$
性质2 $D(cX)=c^2 D(X)$
性质3 $D(X+Y)=D(X)+D(Y)+2\cdot \text{tail}$，其中，$\text{tail}=E{[X-E(X)][Y-E(Y)]}$，若 $X,Y$ 独立，则有 $D(X+Y)=D(X)+D(Y)$
综上，若 $X,Y$ 相互独立，则 $D(aX+bY+c)=a^2 D(X)+b^2D(Y)$；
性质4 若 $D(X)=0$，则 $P(X)=c$，且 $X=E(X)$
（以上定理可以由方差的定义和期望的线性性证明）
常见分布的期望与方差总结
详细的推导见前面部分。
| 名称 | 记号 | 分布/密度函数 | 期望 | 方差 |
|---|---|---|---|---|
| 二项分布 | $X\sim B(n,p)$ | $P{X=k}=C_n^k p^k (1-p)^{n-k}$ | $np$ | $np(1-p)$ |
| 泊松分布 | $X\sim \pi(\lambda)$ | $P{X=k}=\dfrac{\lambda^k}{k!}e^{-\lambda}$ $(\lambda>0)$ | $\lambda$ | $\lambda$ |
| 几何分布 | $X\sim G(p)$ | $P(X=k)=p(1-p)^{k-1}$ | $\frac{1}{p}$ | $\frac{1-p}{p^2}$ |
| 均匀分布 | $X\sim U(a,b)$ | $f(x)=\dfrac{1}{b-a},a<x<b$ | $\dfrac{a+b}{2}$ | $\dfrac{(b-a)^2}{12}$ |
| 指数分布 | $X\sim E(\lambda)$ | $f(x)=\lambda e^{-\lambda x}, x>0$ | $\dfrac{1}{\lambda}$ | $\dfrac{1}{\lambda^2}$ |
| 正态分布 | $X\sim N(\mu,\sigma^2)$ | $f(x)=\dfrac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{\sigma^2}}$ | $\mu$ | $\sigma^2$ |