容斥原理#

\mathrm{P} (\bigcup_{i=1}^{n}{A_i}) = \sum_{k=1}^{n}(-1)^{k-1} \sum_{i_{1} \lt i_{2} \lt \ldots \lt i_{k}}{\mathrm{P}(A_{i_1}A_{i_2}\ldots A_{i_k})}

自由度为n-1，但在取值特殊的情况部分项会退化成平凡，在那时不需要已知n-1个项

常见分布#

离散#

离散型随机变量一般先写分布律：

P\{X=x_i\}=p_i,\qquad \sum_i p_i=1

二项分布#

X\sim B(n,p),\qquad P\{X=k\}=C_n^k p^k(1-p)^{n-k}

含义是 $n$ 次独立重复试验中事件 $A$ 发生 $k$ 次的概率。

E(X)=np,\qquad D(X)=np(1-p)

可加性：

X\sim B(n_1,p),\;Y\sim B(n_2,p),\;X,Y\text{ 独立} \Rightarrow X+Y\sim B(n_1+n_2,p)

条件是随机变量相互独立，且成功概率 $p$ 相同；相加的是试验次数 $n$ ， $p$ 保持不变。

直观理解：把两组相互独立、每次成功概率均为 $p$ 的试验合并，就得到 $n_1+n_2$ 次独立重复试验， $X+Y$ 是总成功次数。

证明：设 $0<p<1$ ，由独立性，对 $k=0,1,\cdots,n_1+n_2$ 有

\begin{aligned} P\{X+Y=k\} &=\sum_{j=\max(0,k-n_2)}^{\min(n_1,k)}P\{X=j\}P\{Y=k-j\}\\ &=p^k(1-p)^{n_1+n_2-k} \sum_{j=\max(0,k-n_2)}^{\min(n_1,k)}C_{n_1}^jC_{n_2}^{k-j}\\ &=C_{n_1+n_2}^k p^k(1-p)^{n_1+n_2-k}. \end{aligned}

最后一步使用范德蒙德恒等式：从两组共 $n_1+n_2$ 个元素中选 $k$ 个，可按第一组选了 $j$ 个分类计数。 $p=0$ 或 $p=1$ 时，随机变量为常数，结论也成立。

推广到多个随机变量：若 $X_1,\cdots,X_m$ 相互独立，且 $X_i\sim B(n_i,p)$ ，则

\sum_{i=1}^{m}X_i\sim B\left(\sum_{i=1}^{m}n_i,p\right).

例如，独立的 $X\sim B(3,0.4)$ 与 $Y\sim B(5,0.4)$ 满足 $X+Y\sim B(8,0.4)$ 。若成功概率不同，和一般不再服从二项分布；若不独立，也不能直接使用上述结论。

当 $n$ 很大， $p$ 较小， $\lambda=np$ 适中时，可以用泊松分布近似：

B(n,p)\approx P(\lambda)

泊松分布#

X\sim P(\lambda),\qquad P\{X=k\}=\frac{\lambda^k}{k!}e^{-\lambda}

常用于单位时间、单位面积内随机事件发生次数。

E(X)=\lambda,\qquad D(X)=\lambda

可加性：

X\sim P(\lambda_1),\;Y\sim P(\lambda_2),\;X,Y\text{ 独立} \Rightarrow X+Y\sim P(\lambda_1+\lambda_2)

几何分布#

X\sim Ge(p),\qquad P\{X=k\}=(1-p)^{k-1}p,\quad k=1,2,\cdots

含义是第一次成功发生在第 $k$ 次试验。

E(X)=\frac{1}{p},\qquad D(X)=\frac{1-p}{p^2}

无记忆性：

P\{X>m+n\mid X>m\}=P\{X>n\}

超几何分布#

总体 $N$ 个，其中有 $M$ 个目标元素，不放回抽取 $n$ 个，抽到 $k$ 个目标元素：

P\{X=k\}=\frac{C_M^kC_{N-M}^{n-k}}{C_N^n}

E(X)=n\frac{M}{N}

方差：

D(X)=n\frac{M}{N}\left(1-\frac{M}{N}\right)\frac{N-n}{N-1}

负二项分布#

P\{X=k\}=C_{k-1}^{r-1}p^r(1-p)^{k-r},\quad k=r,r+1,\cdots

含义是第 $r$ 次成功发生在第 $k$ 次试验。

E(X)=\frac{r}{p},\qquad D(X)=\frac{r(1-p)}{p^2}

连续#

连续型随机变量通常先写密度函数 $f(x)$ ：

P\{a<X\le b\}=\int_a^b f(x)dx,\qquad \int_{-\infty}^{+\infty}f(x)dx=1

分布函数：

F(x)=P\{X\le x\}=\int_{-\infty}^{x}f(t)dt

均匀分布#

X\sim U(a,b),\qquad f(x)= \begin{cases} \frac{1}{b-a}, & a<x<b\\ 0, & \text{其他} \end{cases}

E(X)=\frac{a+b}{2},\qquad D(X)=\frac{(b-a)^2}{12}

指数分布#

X\sim E(\lambda),\qquad f(x)= \begin{cases} \lambda e^{-\lambda x}, & x>0\\ 0, & x\le 0 \end{cases}

分布函数：

F(x)= \begin{cases} 1-e^{-\lambda x}, & x>0\\ 0, & x\le 0 \end{cases}

E(X)=\frac{1}{\lambda},\qquad D(X)=\frac{1}{\lambda^2}

无记忆性：

P\{X>s+t\mid X>s\}=P\{X>t\}

正态分布#

X\sim N(\mu,\sigma^2),\qquad f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}

标准化：

Z=\frac{X-\mu}{\sigma}\sim N(0,1)

P\{a<X<b\}=\Phi\left(\frac{b-\mu}{\sigma}\right)-\Phi\left(\frac{a-\mu}{\sigma}\right)

可加性：

X\sim N(\mu_1,\sigma_1^2),\;Y\sim N(\mu_2,\sigma_2^2),\;X,Y\text{ 独立} \Rightarrow X+Y\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)

随机变量的函数#

一般#

设 $Y=g(X)$ 。

离散型直接合并概率：

P\{Y=y\}=\sum_{x:g(x)=y}P\{X=x\}

连续型常用分布函数法：

F_Y(y)=P\{Y\le y\}=P\{g(X)\le y\}

先把事件转化成 $X$ 的范围，再对 $F_Y(y)$ 求导得到 $f_Y(y)$ 。

若 $g(x)$ 在区间上单调可导，反函数为 $x=h(y)$ ，则：

f_Y(y)=f_X(h(y))|h'(y)|

多元函数常见线性变换：

Y=aX+b

有

E(Y)=aE(X)+b,\qquad D(Y)=a^2D(X)

最值#

设 $X_1,\cdots,X_n$ 相互独立同分布，分布函数为 $F(x)$ ，密度为 $f(x)$ 。

最大值：

M=\max\{X_1,\cdots,X_n\}

F_M(x)=P\{M\le x\}=F^n(x)

f_M(x)=nF^{n-1}(x)f(x)

最小值：

m=\min\{X_1,\cdots,X_n\}

F_m(x)=P\{m\le x\}=1-[1-F(x)]^n

f_m(x)=n[1-F(x)]^{n-1}f(x)

随机过程#

随机过程是一族按参数 $t$ 变化的随机变量，记作：

\{X(t),\;t\in T\}

其中 $t$ 常表示时间， $X(t)$ 表示时刻 $t$ 系统所处的随机状态。若 $T$ 为离散集合，称为离散时间随机过程；若 $T$ 为连续区间，称为连续时间随机过程。

泊松过程#

泊松过程常用来描述随机事件随时间发生的次数。设 $N(t)$ 表示时间区间 $[0,t]$ 内事件发生的次数，若 $\{N(t),t\ge0\}$ 为强度为 $\lambda$ 的泊松过程，则：

N(t)\sim P(\lambda t)

即：

P\{N(t)=k\}=\frac{(\lambda t)^k}{k!}e^{-\lambda t},\quad k=0,1,2,\cdots

它满足：

$N(0)=0$ ；
独立增量：互不相交时间区间内发生的事件数相互独立；
平稳增量：长度相同的时间区间内事件数分布相同，且只与区间长度有关。

为什么事件次数服从泊松分布#

公式中的指数并不是凭空假设出来的，而是把时间切成很多小段后，由独立性和重要极限推出来的。这里 $\lambda>0$ 表示单位时间的平均发生次数， $\lambda t$ 表示长度为 $t$ 的时间内的平均次数。注意：前面泊松分布 $P(\lambda)$ 中的参数表示平均次数；这里过程的 $\lambda$ 表示速率，固定时间段对应的分布参数是 $\lambda t$ 。

除独立、平稳增量外，普通泊松过程还要求事件在极短时间内稀疏地发生。记 $\Delta N=N(s+h)-N(s)$ ，当 $h\to0^+$ 时：

P\{\Delta N=1\}=\lambda h+o(h),\qquad P\{\Delta N\ge2\}=o(h).

也就是：发生一次的概率近似与时长成正比，发生两次及以上的概率比时长更高阶地趋于零。仅有“事件随机发生”或独立、平稳增量，还不足以得到普通泊松过程。

把 $[0,t]$ 等分成 $n$ 段，每段长 $t/n$ ，则每段可以近似看作一次独立的伯努利试验，发生概率约为 $\lambda t/n$ ，所以

N(t)\approx B\left(n,\frac{\lambda t}{n}\right).

切分无限变细时，对固定的非负整数 $k$ ，得到二项分布的泊松极限：

\begin{aligned} P\{N(t)=k\} &=\lim_{n\to\infty}\binom nk \left(\frac{\lambda t}{n}\right)^k \left(1-\frac{\lambda t}{n}\right)^{n-k}\\ &=\frac{(\lambda t)^k}{k!}e^{-\lambda t}. \end{aligned}

其中两部分分别来自：

\binom nk\left(\frac{\lambda t}{n}\right)^k =\frac{(\lambda t)^k}{k!}\prod_{j=0}^{k-1}\left(1-\frac jn\right) \longrightarrow\frac{(\lambda t)^k}{k!},

\left(1-\frac{\lambda t}{n}\right)^{n-k} \longrightarrow e^{-\lambda t}.

严格处理上述近似时，可先统计“至少发生一次的小段数”：它服从参数为 $n$ 和 $\lambda t/n+o(t/n)$ 的二项分布；任一小段发生多次的概率不超过 $n\,o(t/n)\to0$ ，因此它与总事件数不同的概率趋于零，二者得到相同的极限分布。

指数项与时间的直接关系#

令 $k=0$ ，便有

\boxed{P\{N(t)=0\}=e^{-\lambda t}}.

它表示整段时间内一次事件也没发生的概率。“一直没发生”要求每个小时间段都没发生，由独立性将概率相乘，极限就是指数函数：

\left(1-\frac{\lambda t}{n}\right)^n\longrightarrow e^{-\lambda t}.

例如平均每小时来 $2$ 个电话，取小时为时间单位，则 $\lambda=2$ 。半小时 $t=0.5$ 内：

N(0.5)\sim P(1),\qquad P\{N(0.5)=0\}=e^{-1},\qquad E[N(0.5)]=1.

对象	描述的内容
泊松分布	固定时间段内发生了几次
泊松过程	随着时间增加，累计次数如何变化，以及不同时间段的次数之间的关系
指数分布	等到下一次事件需要多久

时间通过“速率 $\times$ 时长”进入分布。速率稳定、不同时间段独立、短时间内多次发生的概率可忽略，是这个模型适用的关键。

与指数等待时间的联系#

若 $T_1$ 表示从时刻 $0$ 到第一次事件的等待时间， $T_2,T_3,\cdots$ 表示此后相邻两次事件发生的时间间隔，则它们相互独立且同分布，并且：

T_i\sim E(\lambda),\qquad f(t)=\lambda e^{-\lambda t},\quad t>0

也就是说，泊松过程中两个相邻事件的时间间隔服从指数分布，且：

E(T_i)=\frac{1}{\lambda}

证明思路是把“等待第一次事件超过 $t$ ”转化为“ $[0,t]$ 内没有事件”：

P\{T_1>t\}=P\{N(t)=0\}=e^{-\lambda t}

所以：

F_{T_1}(t)=P\{T_1\le t\}=1-e^{-\lambda t}

这正是参数为 $\lambda$ 的指数分布。

数字特征#

分布数字特征总结#

期望：

E(X)=\sum_i x_ip_i

或

E(X)=\int_{-\infty}^{+\infty}xf(x)dx

函数期望：

E[g(X)]=\sum_i g(x_i)p_i

或

E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)dx

方差：

D(X)=E[(X-E(X))^2]=E(X^2)-[E(X)]^2

常用性质：

E(aX+bY+c)=aE(X)+bE(Y)+c

D(aX+b)=a^2D(X)

若 $X,Y$ 独立，则：

E(XY)=E(X)E(Y)

D(X+Y)=D(X)+D(Y)

最值期望#

对非负随机变量，有尾和公式：

E(X)=\int_0^{+\infty}P\{X>x\}dx

离散非负整数型：

E(X)=\sum_{k=0}^{+\infty}P\{X>k\}

所以最值期望通常先求最值的分布函数，再转成尾概率。

最大值：

E(M)=\int_{-\infty}^{+\infty}x\cdot nF^{n-1}(x)f(x)dx

最小值：

E(m)=\int_{-\infty}^{+\infty}x\cdot n[1-F(x)]^{n-1}f(x)dx

切比雪夫不等式#

若 $E(X)=\mu,\;D(X)=\sigma^2$ ，则：

P\{|X-\mu|\ge \varepsilon\}\le \frac{\sigma^2}{\varepsilon^2}

等价形式：

P\{|X-\mu|<\varepsilon\}\ge 1-\frac{\sigma^2}{\varepsilon^2}

这个不要求知道具体分布，只要期望和方差存在即可。

协方差#

Cov(X,Y)=E[(X-E(X))(Y-E(Y))]

常用计算式：

Cov(X,Y)=E(XY)-E(X)E(Y)

方差展开：

D(X+Y)=D(X)+D(Y)+2Cov(X,Y)

若 $X,Y$ 独立，则 $Cov(X,Y)=0$ 。

依概率收敛#

随机变量序列 $X_n$ 依概率收敛到 $X$ ，记作：

X_n\overset{P}{\longrightarrow}X

定义为对任意 $\varepsilon>0$ ：

\lim_{n\rightarrow\infty}P\{|X_n-X|\ge \varepsilon\}=0

直观理解是 $n$ 足够大时， $X_n$ 偏离 $X$ 的概率趋于0。

大数定律#

大数定律说明样本均值在概率意义下趋近于总体期望。

切比雪夫大数定理#

若 $X_1,\cdots,X_n$ 两两不相关，且方差有共同上界，即存在 $C$ 使 $D(X_i)\le C$ ，则：

\frac{1}{n}\sum_{i=1}^{n}(X_i-E(X_i))\overset{P}{\longrightarrow}0

特别地，若同分布且 $E(X_i)=\mu$ ，则：

\frac{1}{n}\sum_{i=1}^{n}X_i\overset{P}{\longrightarrow}\mu

辛钦定理大数定理#

若 $X_1,X_2,\cdots$ 独立同分布，且 $E(X_i)=\mu$ 存在，则：

\frac{1}{n}\sum_{i=1}^{n}X_i\overset{P}{\longrightarrow}\mu

辛钦定理不要求方差存在，只要求期望存在。

伯努利大数定理#

设 $n$ 次独立重复试验中事件 $A$ 发生次数为 $X$ ，每次发生概率为 $p$ ，频率为 $\frac{X}{n}$ ，则：

\frac{X}{n}\overset{P}{\longrightarrow}p

也就是频率稳定于概率。

中心极限定理#

中心极限#

设 $X_1,X_2,\cdots$ 独立同分布， $E(X_i)=\mu,\;D(X_i)=\sigma^2$ ，则：

\frac{\sum_{i=1}^{n}X_i-n\mu}{\sigma\sqrt{n}}\overset{d}{\longrightarrow}N(0,1)

所以当 $n$ 较大时：

\sum_{i=1}^{n}X_i\approx N(n\mu,n\sigma^2)

样本均值：

\bar X=\frac{1}{n}\sum_{i=1}^{n}X_i\approx N\left(\mu,\frac{\sigma^2}{n}\right)

棣莫弗-拉普拉斯定理#

若 $X\sim B(n,p)$ ，则当 $n$ 较大时：

\frac{X-np}{\sqrt{np(1-p)}}\approx N(0,1)

因此：

P\{a\le X\le b\} \approx \Phi\left(\frac{b-np}{\sqrt{np(1-p)}}\right) - \Phi\left(\frac{a-np}{\sqrt{np(1-p)}}\right)

做连续性修正时常写成：

P\{a\le X\le b\} \approx \Phi\left(\frac{b+0.5-np}{\sqrt{np(1-p)}}\right) - \Phi\left(\frac{a-0.5-np}{\sqrt{np(1-p)}}\right)

音乐

音乐

容斥原理#

常见分布#

离散#

二项分布#

泊松分布#

几何分布#

超几何分布#

负二项分布#

连续#

均匀分布#

指数分布#

正态分布#

随机变量的函数#

一般#

最值#

随机过程#

泊松过程#

为什么事件次数服从泊松分布#

指数项与时间的直接关系#

与指数等待时间的联系#

数字特征#

分布数字特征总结#

最值期望#

切比雪夫不等式#

协方差#

相关系数#

依概率收敛#

大数定律#

切比雪夫大数定理#

辛钦定理大数定理#

伯努利大数定理#

中心极限定理#

中心极限#

棣莫弗-拉普拉斯定理#

文章分享

评论区

音乐

目录

音乐

音乐

16-概率论

容斥原理#

常见分布#

离散#

二项分布#

泊松分布#

几何分布#

超几何分布#

负二项分布#

连续#

均匀分布#

指数分布#

正态分布#

随机变量的函数#

一般#

最值#

随机过程#

泊松过程#

为什么事件次数服从泊松分布#

指数项与时间的直接关系#

与指数等待时间的联系#

数字特征#

分布数字特征总结#

最值期望#

切比雪夫不等式#

协方差#

相关系数#

依概率收敛#

大数定律#

切比雪夫大数定理#

辛钦定理大数定理#

伯努利大数定理#

中心极限定理#

中心极限#

棣莫弗-拉普拉斯定理#

文章分享

评论区

音乐

目录