随机过程的分类与数学基础
随机过程的分类
随机过程可以分成四类：
-
离散参数离散状态
随机过程${X_n}^\infty _{n=0}$服从两点分布，取0的概率为q，取1的概率为p。 -
离散参数连续状态
AR过程：$X_n = \alpha X_{n-1} + Z_n \ \ \ \ \ n \geq 1$，$\alpha$是确定性常数，$Z_n$是相互独立均值为0的连续随机变量，该过程叫做一阶自回归过程，简称AR（1）。 -
连续参数离散状态
泊松过程：整数值随机过程$X(t)$满足$X(0)=0$，任取$t_1<t_2\leq t_3 <t4$，都有$X(t_4)-X(t_3)$和$X(t_2)-X(t_1)$独立，且\(P(X(t_2)-X(t_1)=k)=\frac{(\lambda(t_2-t_1))^k}{k!}exp(-\lambda(t_2-t_1))\) -
连续参数连续状态
布朗运动：实数值随机过程X(t)满足$X(0)=0$，任取$t_1<t_2\leq t_3<t_4$，都有都有$X(t_4)-X(t_3)$和$X(t_2)-X(t_1)$独立，且 \([X(t_2)-X(t_1)] \sim N(0,\sigma^2(t_2-t_1))\)
严平稳和宽平稳
- 严平稳：随机过程的有限维分布族随着时间的平移保持不变。
- 宽平稳：随机过程的相关函数只和时间的差值有关，和选择的具体时间点无关。
随机变量的矩
n阶矩：$E[X^n]=\sum^\infty_{i=1}x^n_i P(X=x_i)=\sum^\infty_{i=1}x^n_i a_i $
一阶矩：就是均值（数学期望）
如果一阶矩的对象是一个函数$g(x)$，如果随机变量是离散型的则\(E[g(x)]=\sum_{i=1}^\infty g(x_i)a_i\) 如果X是连续型的，那么\(E[g(x)]=\int g(x)f_X(x)dx\)，如果广义积分绝对可积。
联合分布和边缘分布函数
联合分布函数
$F_{XY}(x,y):=P(X\leq x,Y \leq y) = P({X \leq x} \cap {Y \leq y})$
边缘分布
联合分布对于不用的那个参数进行整体积分剩下的就是边缘分布。
如果相互独立，则联合分布等于边缘分布函数的乘积。
一个性质：对于两个独立的连续性随机变量，其和的概率密度函数的傅里叶变换恰好等于这两个随机变量的概率密度函数的傅里叶变换的乘积。
条件概率与全概率
条件概率：已知事件B发生，事件A发生的概率 \(P(A | B) := \frac{P(A\cap B )}{P(B)}\)
全概率：如果\(\bigcup^\infty _{j=1} B_i = \Omega\)，B的个元素之间互相独立，则全概率公式为 \(P(A) = \sum^\infty_{i=1}P(A|B_i)P(B_i)\)
几种重要的离散型分布
伯努利分布
\[P(X=1)=p,P(X=0)=1-p\]均值为$E[X] = p$，方差$D(X) = p(1-p)$
二项分布
设$A_1,\dots,A_n$为相互独立的事件，且发生的概率均为p，定义随机变量\(X(\omega) = \sum^{n}_{i=1}I_{A_i}(\omega)\) 其中$\omega \in \Omega$，那么随机变量的取值全体为${0,\dots n }$，且对于任意k，\(P(X=k)=\frac{n!}{k!(n-k)!}p^k(1-p)^{n-k}\),我们称随机变量X服从参数为（n,p）的二项分布。
说白了，这个就是伯努利实验进行n次，看一共的和（也就是k）的值的分布是什么样子的。前边的那个分数就是$C_n^k$
二项分布的均值和方差： \(E[X]= np \\ D(X) = np(1-p)\)
它的均值和方差就是伯努利分布乘以次数
几何分布
几何分布可以理解为，前i次实验都失败了，但是第i+1次实验成功的概率，则随机变量Y的分布律为$P(Y=k)=(1-p)^kp$，它的均值为$E[Y]=\frac{1-p}{p}$，方差为$D(X)=\frac{1-p}{p^2}$。
泊松分布
泊松分布属于离散型随机变量，假设一个离散型随机变量X的分布律具有如下形式\(P(X=k)=\frac{\lambda ^k}{k!}e^{-\lambda}\)，则X服从参数为$\lambda$的泊松分布。泊松分布的均值和方差均为$\lambda$。
泊松分布的再生性：假设$X_1\dots X_n$是n个相互独立且服从参数为$\lambda _1 \dots \lambda _n$的泊松分布，则$\sum X_i$服从参数为$\sum \lambda_i$的泊松分布。
几种重要的连续型分布
均匀分布
一个连续型随机变量X的概率密度为
\[f_{X}(x)=\left\{\begin{array}{ll} \frac{1}{b-a}, & \text { 若 } a \leqslant x \leqslant b \\ 0, & \text { 否则 } \end{array}\right.\]那么被称为X服从区间$[a,b]$上的均匀分布。
其均匀分布的分布函数为 \(\begin{equation} F_{X}(x)=\int_{-\infty}^{x} f_{X}(y) \mathrm{d} y=\left\{\begin{array}{ll} 0, & \text { 若 } x \leqslant a \\ \frac{x-a}{b-a}, & \text { 若 } a<x \leqslant b \\ 1, & \text { 若 } x>b \end{array}\right. \end{equation}\)
其方差和数学期望为 \(E[X]=\frac{a+b}{2} \\ D(X) = \frac{(b-a)^2}{12}\)
正态分布
如果X的概率密度为
\[f_{X}(x)=\frac{1}{\sqrt{2 \pi \sigma^{2}}} \exp \left(-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right), \quad x \in \mathbb{R}\]其中$\mu \in \mathbb{R}$，$\sigma >0$。
正态分布的均值和方差如下：
\[E[X] = \mu \\ D(X) = \sigma ^2\]指数分布
设X是一个非负连续型随机变量，如果概率密度函数为 \(f_X(x)=\lambda e^{-\lambda x}I_{0,\infty}(x)\) 则称X服从参数为$\lambda$的指数分布。
相应的，参数为$\lambda$的指数分布参数为 $F_X(x)=(1-e^{-\lambda x})I_{0,\infty}(x)$
指数分布的均值和方差为 \(E[X]= \frac{1}{\lambda} \\ D(X)=\frac{1}{\lambda^2}\)
服从指数分布的随机变量具有无记忆性，因此常用来建模寿命问题。
条件分布与条件数学期望
条件分布
$Y=y_i$ 条件下的$X$的分布律 \(a_{X|Y}(i|j) := \frac{P(X=x_i,Y=y_j)}{P(Y=y_j)} = \frac{a_{ij}}{a_{.,j}}, \quad i=1,2,\dots\)
边缘概率密度
设$y \in \mathbb{R}$，如果Y的边缘概率密度函数$f_Y(y)>0$，则称 \(f_{X|Y}(x|y) := \frac{f_X(x,y)}{f_Y(y)}\) 为在$Y=y$的条下，随机变量X的条件概率密度函数。 相应的，称函数\(F_{X|Y}(x|y):=\int_\infty^xf_{X|Y}(u|y)du\)为随机变量$X$的条件分布函数。
条件数学期望
设随机变量|X|满足$E[|g(X)|]<\infty$
-
如果$X=(X,Y)$是一个取值为${(x_i,y_i):i,j\in N}$的离散型二维随机变量，固定$i\in N$，我们称 \(E[g(X)|Y=y_j]:=\sum_{i=0}^\infty g(x_i)a_{X|Y}(i|j)\)为在$Y=y_i$的条件下，随机变量X的条件数学期望。
-
如果$X=(X,Y)$是一个以$f_x(x,y)$为联合概率密度函数的连续型二维随机变量，固定$y\in R$，则我们称$$E[g(X) Y=y_i]:= \int {-\infty}^{\infty}g(x)f{X Y}(x y)dx$$为在$Y=y_i$的条件下，随机变量X的数学期望。