Stochastic Process: 均方极限

二阶矩随机变量

二阶矩随机变量
称概率空间 $(\Omega, F, P)$ 上具有二阶矩的随机变量为二阶矩随机变量, 其全体记为 $H$.

$H$ 是完备的线性赋范空间, 也是完备的内积空间. 因而可在 $H$ 上建立极限, 连续, 可积, 可导等概念.

均方极限

均方极限
设 $\{ X(t), t\in T \}$ 是二阶矩过程, $X \in H, t_{0} \in T$, 如果

$\lim_{n \to \infty} \mathbb{E} \lvert X(t_{n}) - X \rvert^{2} = 0$

则称当 $t \to t_{0}$ 时, $X(t)$ 依均方收敛于 $X$; 或称 $X$ 为当 $t \to t_{0}$ 时 $\{ X(t), t\in T \}$ 的均方极限, 记为 $X(t) \overset{M}{\to} X$.

均方收敛的性质:

性质1

均方极限在概率1下唯一, 即若 $X(t) \overset{M}{\to} X$, $X(t) \overset{M}{\to} Y$, 则 $P\{ X=Y \} = 1$.

性质2

均方收敛强于依概率收敛, 即若 $X(t) \overset{M}{\to} X$, 则 $X(t) \overset{P}{\to} X$.

性质3

若 $\{ X_{n} \} \overset{M}{\to} X$, 则

$\lim_{n \to \infty} \mathbb{E} \left[ X_{n} \right] = \mathbb{E} \left[ \lim_{n \to \infty} X_{n} \right] = \mathbb{E} \left[ X \right]$

性质4

若 $\{ X_{n} \} \overset{M}{\to} X$, $\{ Y_{n} \} \overset{M}{\to} Y$, 则

$\begin{align}& \lim_{n \to \infty} \mathbb{E} \left[ aX_{n} + bY_{n} \right] = aX + bY \\& \lim_{\substack{n \to \infty \\ m \to \infty}} \mathbb{E} \left[ X_{n} Y_{m} \right] = \mathbb{E} \left[ X Y \right] \\\end{align}$

特别地,

$\begin{align}\lim_{n \to \infty} \mathbb{E} \lvert X_{n} \rvert^{2} = \mathbb{E} \lvert X \rvert^{2} \\\lim_{n \to \infty} \mathbb{D} \left[ X_{n} \right] = \mathbb{D} \left[ X \right]\end{align}$

性质5

设 $\{ a_{n} \}$ 为普通数列, 且 $\lim_{n \to \infty} a_{n} = 0$, $X$ 为二阶矩随机变量, 则

$\lim_{n \to \infty} \mathbb{E} \left[ a_{n} X \right] = 0$

性质6

设 $\lim_{n \to \infty} X_{n} = X$, $f(u)$是一确定函数, 且满足 Lipschitz 条件, 即 $\lvert f(u) - f(v) \rvert \leq M \lvert u - v \rvert$, 其中 $M \gt 0$ 为常数, 则

$\lim_{n \to \infty} f(X_{n}) = f(X)$

性质7 Cauchy 准则

Cauchy 准则
若 $\{ X_{n} \} \subset H$, 则 $\{ X_{n} \}$ 均方收敛的充要条件是: 对任意 $\varepsilon \gt 0$, 存在 $N \in \mathbb{N},\ s.t.\ \forall n, m \gt N$, 有

$\mathbb{E} \lvert X_{n} - X_{m} \rvert^{2} \lt \varepsilon$

性质8 均方收敛准则

均方收敛准则
若 $\{ X_{n} \} \subset H$, 则 $\{ X_{n} \}$ 均方收敛的充要条件是: 对任意 $\varepsilon \gt 0$, 存在 $N \in \mathbb{N},\ s.t.\ \forall n, m \gt N$, 有

$\lim_{\substack{n \to \infty \\ m \to \infty}} \mathbb{E} \left[ \bar{X}_{m} \bar{X}_{n} \right] = c$

其中 $c$ 为常数, 且 $c \lt +\inf$.

性质9 均方大数定律

均方大数定律
若 $\{ X_{n} \}$ 是独立同分布的二阶矩随机变量序列, 且 $\mathbb{E} \lvert X_{k} \rvert - \mu, k=1,2,\cdots$, 则

$\lim_{n \to \infty} \frac{1}{n} \sum_{k=1}^{n} X_{k} = \mu$

均方连续

均方连续
设 $\{ X(t), t\in T \}$ 是二阶矩过程, $t_{0} \in T$, 如果 $\lim_{t \to t_{0}} X(t) = X(t_{0})$, 则称 $\{ X(t), t\in T \}$ 在 $t_{0}$ 处均方连续.
若 $\forall t \in T$, $\{ X(t), t\in T \}$ 在 $t$ 处均方连续, 则称 $\{ X(t), t\in T \}$ 是均方连续的, 或称 $X(t)$ 是均方连续的.

均方连续的性质:

性质1

设 $\{ X(t), t \in T \}$ 是二阶矩过程, $R_{X}(s, t)$ 是其相关函数, 则 $\{ X(t) \}$ 均方收敛的冲要条件是 $\forall t \in T,\ R_{X} (s, t)$ 在 $(t, t)$ 处均方连续.

性质2

设 $\{ X(t), t \in T \}$ 是二阶矩过程, $R_{X}(s, t)$ 是其相关函数, 则 $R_{X}(s, t)$ 在整个 $T \times T$ 上连续的冲要条件是 $\forall t \in T,\ R_{X} (s, t)$ 在 $(t, t)$ 处均方连续.

性质3

若 $\{ X(t), t \in T \}$ 是均方连续的, 则其均值函数 $m_{X}(t)$ 和方差函数 $D_{X}(t)$ 也是连续的.

均方导数

均方导数
设 $\{ X(t), t\in T \}$ 是二阶矩过程, $t_{0} \in T$, 如果均方极限

$\lim_{h \to 0} \frac{X(t_{0}+ \Delta t) - X(t_{0})}{\Delta t}$

存在, 则称其为 $X(t)$ 在 $t_{0}$ 处均方可导, 其极限称为 $X(t)$ 在 $t_{0}$ 处的均方导数, 记为 $X^{\prime}(t_{0})$.
若 $\forall t \in T$, $X(t)$ 在 $t$ 处均方可导, 则称 $\{ X(t), t\in T \}$ 是均方可导的.

广义二阶导数
设 $f(s,t)$ 是普通二元函数, 称 $f(s,t)$ 在 $t$ 处的广义二阶可导, 如果下列极限存在:

$\lim_{\substack{h \to \infty \\ k \to \infty}} \frac{f(s+h, t+k) - f(s+h, t) - f(s, t+k) + f(s, t)}{hk}$

则称其为 $f(s,t)$ 在 $(s,t)$ 处的广义二阶导数.

均方导数的性质:

性质1 均方可导充要条件

设 $\{ X(t), t \in T \}$ 是二阶矩过程, $t_{0} \in T$, 则 $X(t)$ 在 $t_{0}$ 处均方可导的充要条件是: $\forall t \in T$, $R_{X}(s, t)$ 在 $(s,t)$ 处广义二阶可导.

性质2 均方可导充要条件

设 $\{ X(t), t \in T \}$ 是二阶矩过程, $t_{0} \in T$, 则 $X(t)$ 在 $t_{0}$ 处均方可导的充要条件是: $\forall t \in T$, $R_{X}(s, t)$ 关于 $s,t$ 的一阶偏导数在 $(t_{0}, t_{0})$ 处存在, 且二阶混合偏导数在 $(s,t)$ 处存在且连续.

性质3

若 $\{ X(t), t \in T \}$ 是均方可导的, 则 $\{ X(t), t \in T \}$ 均方连续.

性质4

若 $\{ X(t), t \in T \}$ 是均方可导的, 则其均方导数在概率1下唯一.

性质5

若 $\{ X(t), t \in T \}$ 是均方可导的, 且 $\forall t \in T$, $X^{\prime}(t)=0$, 则 $X(t)$ 以概率1为一随机变量.

性质6

若 $\{ X(t), t \in T \}$ 是均方可导的, $X$ 为二阶矩随机变量, 则 $\left[ X(t)+X \right]^{\prime} = X^{\prime}(t)$

性质7

若 $\{ X(t), t \in T \}$ 是均方可导的, 则:

$m_{X^{\prime}}(t) = m^{\prime}_{X}(t)$
$R_{X^{\prime}X}(s,t) = \frac{\partial}{\partial s} R_{x}(s,t)$
$R_{XX^{\prime}}(s,t) = \frac{\partial}{\partial t} R_{x}(s,t)$
$R_{X^{\prime}}(s,t) = \frac{\partial^{2}}{\partial s \partial t} R_{X}(s,t)$

性质8

若 $\{ X(t), t \in T \}$, $\{ Y (t), t \in T \}$ 都是均方可导的, $a,b$ 为任意常数, 则:
$\{ aX(t) + bY(t), t \in T \}$ 也均方可导, 且 $(aX(t)+bY(t))^{\prime} = aX^{\prime}(t) + bY^{\prime}(t)$

性质9

若 $\{ X(t), t \in T \}$ 是均方可导的, $f(t)$ 是 $T$ 上的普通可导函数, 则 $\{ f(t)X(t), t \in T \}$ 也是均方可导的, 且 $(f(t)X(t))^{\prime} = f^{\prime}(t)X(t) + f(t)X^{\prime}(t)$

均方积分

均方积分
给定随机过程 $\{ X(t), a \leq t \leq b \}$, $f(t)$ 为 $[a,b]$ 上的普通函数. 任意插入 $n-1$ 个分点 $a=t_{0} \lt t_{1} \lt \cdots \lt t_{n}=b$, 作和式

$\sum_{k=1}^{n} f(u_{k}) X(u_{k}) (t_{k} - t_{k-1})$

其中 $u_{k} \in [t_{k-1}, t_{k}]$. 记 $\Delta = \max_{1 \leq k \leq n} (t_{k} - t_{k-1})$, 若均方极限

$\lim_{\Delta \to 0} \sum_{k=1}^{n} f(u_{k}) X(u_{k}) (t_{k} - t_{k-1})$

存在, 且极限与区间的分法, $u$, $k$ 的取值无关, 则称其为 $f(t)X(t)$ 在 $[a,b]$ 上的黎曼均方积分, 简称为均方积分, 记为

$\int_{a}^{b} f(t) X(t) dt$

特别地, 若 $f(t) \equiv 1$, 有

$\int_{a}^{b} X(t) dt = \lim_{\Delta \to 0} \sum_{k=1}^{n} X(u_{k}) (t_{k} - t_{k-1})$

为随机过程 $\{ X(t), a \leq t \leq b \}$ 在 $[a,b]$ 上的均方积分. 此时, 称 $X(t)$ 在 $[a,b]$ 上是均方可积的.

均方积分的性质:

性质1 充要条件

设 $\{ X(t), a \leq t \leq b \}$ 是二阶矩过程, 则 $\{ f(t)X(t), t \in [a,b] \}$ 在 $[a,b]$ 上的均方积分存在的充要条件是下列二重积分存在:

$\int_{a}^{b} \int_{a}^{b} f(s) \overline{f(t)} R_{X}(s,t) ds dt$

且有

$\mathbb{E} \lvert \int_{a}^{b} f(t) X(t) dt \rvert^{2} = \int_{a}^{b} \int_{a}^{b} \int_{a}^{b} \int_{a}^{b} f(s) \bar{f(t)} R_{X}(s,t) ds dt$

性质2

若 $\{ X(t), a \leq t \leq b \}$ 是均方可积的, 则其均方积分在概率1下唯一.

性质3

若 $\{ X(t), a \leq t \leq b \}$ 是均方连续的, 则其在 $[a,b]$ 上是均方可积的.

性质4

若二阶矩过程 $\{ X(t), a \leq t \leq b \}$, $\{ Y(t), a \leq t \leq b \}$ 均方可积, 则

$\int_{a}^{b} \left[ \alpha X(t) + \beta Y(t) \right] dt = \alpha \int_{a}^{b} X(t) dt + \beta \int_{a}^{b} Y(t) dt$

性质5

若 $\{ f(t)X(t), a \leq t \leq b \}$ 在 $[a,b]$ 上的均方积分存在, 则 $\{ f(t)X(t), a \leq t \leq b \}$ 在 $[a,c]$ 和 $[c,b]$ 上的均方积分也存在, 且有

$\int_{a}^{b} f(t) X(t) dt = \int_{a}^{c} f(t) X(t) dt + \int_{c}^{b} f(t) X(t) dt$

性质6

$\mathbb{E} \left[ \int_{a}^{b} f(t) X(t) dt \right] = \int_{a}^{b} \mathbb{E} \left[ f(t) m_{X}(t) \right] dt$

性质7

若随机过程 $\{ X(t), a \leq t \leq b \}$ 在 $[a,b]$ 上均方可导, 则

$\int_{a}^{b} f(t) X^{\prime}(t) dt = X(b) - X(a)$

性质8

若随机过程 $\{ X(t), a \leq t \leq b \}$ 在 $[a,b]$ 上均方连续, 则

$\mathbb{E} \lvert \int_{a}^{b} X(t) dt \rvert^{2} \leq \left( b-a \right) \int_{a}^{b} \left[ \mathbb{E} \lvert X(t) \rvert^{2} \right]^{\frac{1}{2}} dt \leq \left( b-a \right)^2 \max_{a \leq t \leq b} \mathbb{E} \lvert X(t) \rvert^{2}$

性质9

若随机过程 $\{ X(t), a \leq t \leq b \}$ 在 $[a,b]$ 上均方连续, 则其均方不定积分 $Y(t), t \in T$ 在 $[a,b]$ 上均方可导, 且

$\begin{align} P\{ Y^{\prime}(t) = X(t) \} = 1 \\ m_{Y}(t) = \int_{a}^{t} m_{X}(s) ds \\ R_{Y}(s,t) = \int_{a}^{s} \int_{a}^{t} R_{X}(u,v) du dv \\ C_{Y}(s,t) = \int_{a}^{s} \int_{a}^{t} C_{X}(u,v) du dv\end{align}$

正太过程的随机分析

性质1

$n$ 维正太随机变量序列的均方极限也是 $n$ 维正太随机变量.

性质2

设 $\{ X(t) = \{ X_{1}(t), X_{2}(t), \cdots, X_{n}(t) \}, t \in T \}$ 是 $n$ 维正太随机变量序列, $t_{0} \in T$, 若

$\lim_{t \to t_{0}} X(t) = X_{k},\quad k = 1,2,\cdots,n$

则 $X(t)$ 为 $n$ 维随机变量

性质3

若实正太过程 $\{ X(t), t \in T \}$ 均方可导, 则其均方导数过程 $\{ X^{\prime}(t), t \in T \}$ 也然是正太过程.

性质4

若实正太过程 $\{ X(t), t \in T \}$ 均方连续, 则其均方不定积分过程 $\{ Y(t), t \in T \}$ 也然是正太过程.