1.5-随机向量

基本概念

• 三元组 $(\Omega ,\mathcal{F},P)$ 构成概率空间，$\omega \in \Omega$ 为样本，$A\in \mathcal{F}$ 为事件，$P(A)$ 为事件概率，数学期望(统计平均值)

• $L_p(\Omega ,\mathcal{F},P)$表示随机变量$\xi (\omega )$的空间

• $\text{E}\{|\xi |{}^p\}={\int }_{\Omega }|\xi |{}^p\text{d}p$，${\int }_{\Omega }\cdots \text{d}P$ 是在整个样本空间 $\Omega$ 上按概率 $P$ 进行积分

  • 当 $p=1$ 时，本身的绝对大小（与均值相关）
  • 当 $p=2$ 时，二次方大小（与能量/功率/方差相关）

• $L_2$ 空间：当 $p=2$ 时，具有有限二阶矩 $\text{E}\{{\xi }^2\}<\infty$ 的随机变量构成的 Hilbert 空间

• $L^2$ 理论：仅研究向量空间中一阶（均值）和二阶（方差、相关性）统计性质的理论

概率密度函数(PDF)与分布函数(CDF)

实随机向量

设 $\mathbf{x}(\xi )=[x_1(\xi ),x_2(\xi ),\cdots ,x_m(\xi ){]}^{\text{T}}$ 为 $m\times 1$ 实随机向量

CPF & PDF

• 联合累积分布函数 (CDF)

  • 满足$\mathbf{x}(\xi )<\mathbf{x}$的累积概率
    $F(\mathbf{x})\triangleq P\{\xi :x_1(\xi )⩽x_1,x_2(\xi )⩽x_2,\cdots ,x_m(\xi )⩽x_m\}$
    $={\int }_{-\infty }^{x_1}\cdots {\int }_{-\infty }^{x_m}{f}_{\mathbf{v}}(v_1,\cdots ,v_m)\mathrm{d}{v}_1\cdots \mathrm{d}{v}_m$

• 联合概率密度函数 (PDF)

  • 概率在某一个具体点 $\mathbf{x}$ 附近的局域聚集密度（单位体积内的概率）
    $f(\mathbf{x})\triangleq {\lim }_{\Delta x_1\to 0,\dots ,\Delta x_m\to 0}\frac{P\{x_1<x_1(\xi )⩽x_1+\Delta x_1,\dots \}}{\Delta x_1\Delta x_2\cdots \Delta x_m}$
    $=\frac{{\partial }^m}{\partial x_1\partial x_2\cdots \partial x_m}F(\mathbf{x})$

• 边缘概率密度函数

  • 对联合 PDF 进行 $m-1$ 重积分，得到单个随机变量 $x_i$ 的密度(忽略其他变量，单看变量 $x$，它在 $x_0$ 处的概率密度为 $f(x_0)$（落入 $x_0$ 附近微小区间 $\text{d}x$ 内的概率为 $f(x_0)\text{d}x$）)
    $f(x_i)\triangleq {\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }{f}_{\mathbf{x}}(x_1,\cdots ,x_m)\text{d}{x}_1\cdots \text{d}{x}_{i-1}\text{d}{x}_{i+1}\cdots \text{d}{x}_m$

• 联合分布函数等于其联合概率密度函数的积分

统计独立

• 若 $m$ 个随机变量联合独立(统计独立，概率)，则其联合 CDF / PDF 等于各边缘 CDF / PDF 的乘积：
  F(\boldsymbol{x}) = \prod_{i=1}^m F_{x_i}(x_i), \qquad f(\boldsymbol{x}) = \prod_{i=1}^m f_{x_i}(x_i) \tag{1.5.7 - 1.5.8}

小结

• CDF是“区域内的总概率”，对它多重求导得到联合 PDF（点密度）
• 沿着其他维度积掉不关心的变量就得到边缘 PDF（单变量密度）
• 当各个变量完全互不影响时，联合密度就退化为各个边缘密度的简单乘积（统计独立）

复随机向量

$\mathbf{x}(\xi )={\mathbf{x}}_{\text{R}}(\xi )+\text{j}{\mathbf{x}}_{\text{I}}(\xi )=\left[\begin{array}{c}{x}_{\text{R}1}(\xi )\\ ⋮\\ x_{\text{R}m}(\xi )\end{array}\right]+\text{j}\left[\begin{array}{c}{x}_{\text{I}1}(\xi )\\ ⋮\\ x_{\text{I}m}(\xi )\end{array}\right]$

• 累积分布函数 CDF
  $F(\mathbf{x})\triangleq P\{\xi :{\mathbf{x}}_R(\xi )⩽{\mathbf{x}}_R,{\mathbf{x}}_I(\xi )⩽\mathbf{x}{x}_I\}$

• 复概率密度函数 PDF

  • 定义为实部与虚部共 $2m$ 个变量的联合概率密度：
    $f(\mathbf{x})\triangleq \frac{{\partial }^{2m}}{\partial x_{\text{R}1}\partial x_{\text{I}1}\cdots \partial x_{\text{R}m}\partial x_{\text{I}m}}F(\mathbf{x})$

随机向量的统计描述

一阶矩：均值向量

向量各元素的数学期望 $E\{\mathbf{x}(\xi )\}\triangleq {\int }_{-\infty }^{\infty }\mathbf{x}f(\mathbf{x})d\mathbf{x}$ (概率加权的均值)组成的向量
${\mathbf{\mu }}_x=\text{E}\{\mathbf{x}(\xi )\}=\left[\begin{array}{c}\text{E}\{x_1(\xi )\}\\ ⋮\\ \text{E}\{x_m(\xi )\}\end{array}\right]=\left[\begin{array}{c}{\mu }_1\\ ⋮\\ {\mu }_m\end{array}\right]=\left[\begin{array}{c}{\int }_{-\infty }^{\infty }{x}_{1}f(x_1)dx\\ ⋮\\ {\mu }_m\end{array}\right]$

二阶矩：相关矩阵与协方差矩阵

外积

列向量 $\mathbf{x}\in {\mathbb{C}}^{m\times 1}$ 与 $\mathbf{y}\in {\mathbb{C}}^{n\times 1}$ 的外积定义为：
$\mathbf{x}\circ \mathbf{y}=\mathbf{x}{\mathbf{y}}^{\text{H}}$，结果为一个 $m\times n$ 的复矩阵。

自相关矩阵 ${\mathbf{R}}_x$

向量与自身外积的数学期望
${\mathbf{R}}_x\triangleq \text{E}\{\mathbf{x}{\mathbf{x}}^{\text{H}}\}=\left[\begin{array}{ccc}{r}_{11}& \cdots & r_{1m}\\ ⋮& \ddots & ⋮\\ r_{m1}& \cdots & r_{mm}\end{array}\right]$

• 主对角线元素（自相关函数）：$r_{ii}\triangleq \text{E}\{|x_i|{}^2\}$
• 非对角线元素（互相关函数）：$r_{ij}\triangleq \text{E}\{x_i{x}_j^{\ast }\}(i\ne j)$
• 自相关矩阵是 Hermitian 矩阵（复共轭对称：${\mathbf{R}}_x^{\text{H}}={\mathbf{R}}_x$）。

自协方差矩阵${\mathbf{C}}_x$

定义为去均值向量与自身外积的数学期望：
\boldsymbol{C}_x = \text{Cov}(\boldsymbol{x}, \boldsymbol{x}) \triangleq \text{E}\{(\boldsymbol{x} - \boldsymbol{\mu}_x)(\boldsymbol{x} - \boldsymbol{\mu}_x)^\text{H}\} = \begin{bmatrix} c_{11} & \cdots & c_{1m} \\ \vdots & \ddots & \vdots \\ c_{m1} & \cdots & c_{mm} \end{bmatrix} \tag{1.5.21}

• 主对角线元素（方差）：$c_{ii}\triangleq \text{E}\{|x_i-{\mu }_i|{}^2\}={\sigma }_i^2$

• 非对角线元素（协方差）：$c_{ij}\triangleq \text{E}\{(x_i-{\mu }_i)(x_j-{\mu }_j{)}^{\ast }\}=\text{E}\{x_i{x}_j^{\ast }\}-{\mu }_i{\mu }_j^{\ast }$

• 自协方差矩阵是 Hermitian 矩阵

• 恒等式：
  ${\mathbf{C}}_x={\mathbf{R}}_x-{\mathbf{\mu }}_x{\mathbf{\mu }}_x^{\text{H}}$

互相关矩阵 ${\mathbf{R}}_{xy}$ 与互协方差矩阵 ${\mathbf{C}}_{xy}$

描述两个不同的随机向量 ${\mathbf{x}}_{m\times 1}$ 和 ${\mathbf{y}}_{n\times 1}$ 之间的关系：
${\mathbf{R}}_{xy}\triangleq \text{E}\{\mathbf{x}{\mathbf{y}}^{\text{H}}\},{\mathbf{C}}_{xy}\triangleq \text{E}\{(\mathbf{x}-{\mathbf{\mu }}_x)(\mathbf{y}-{\mathbf{\mu }}_y{)}^{\text{H}}\}$

• 恒等式：\boldsymbol{C}_{xy} = \boldsymbol{R}_{xy} - \boldsymbol{\mu}_x \boldsymbol{\mu}_y^\text{H} \tag{1.5.27}
• 注意：互相关/互协方差矩阵通常是 $m\times n$ 的非正方矩阵；即便 $m=n$，它们一般也不是复共轭对称的

协方差矩阵的常用运算性质

1. 自协方差矩阵是 Hermitian 矩阵：$[\text{Var}(\mathbf{x}){]}^{\text{H}}=\text{Var}(\mathbf{x})$
2. 自协方差矩阵的线性变换：$\text{Var}(\mathbf{A}\mathbf{x}+\mathbf{b})=\mathbf{A}\text{Var}(\mathbf{x}){\mathbf{A}}^{\text{H}}$
3. 互协方差矩阵（不满足Hermitian）转置：$\text{Cov}(\mathbf{x},\mathbf{y})=[\text{Cov}(\mathbf{y},\mathbf{x}){]}^{\text{H}}$
4. 互协方差矩阵的线性：$\text{Cov}({\mathbf{x}}_1+{\mathbf{x}}_2,\mathbf{y})=\text{Cov}({\mathbf{x}}_1,\mathbf{y})+\text{Cov}({\mathbf{x}}_2,\mathbf{y})$
5. 自协方差与互协方差：$\text{Var}(\mathbf{x}+\mathbf{y})=\text{Var}(\mathbf{x})+\text{Cov}(\mathbf{x},\mathbf{y})+\text{Cov}(\mathbf{y},\mathbf{x})+\text{Var}(\mathbf{y})$
6. 两变换向量的互协方差矩阵：$\text{Cov}(\mathbf{A}\mathbf{x},\mathbf{B}\mathbf{y})=\mathbf{A}\text{Cov}(\mathbf{x},\mathbf{y}){\mathbf{B}}^{\text{H}}$

统计不相关与正交

相关系数与相似度

两个随机变量 $x(\xi )$ 和 $y(\xi )$ （标量）之间的相关系数定义为（均值为零）

${\rho }_{xy}\stackrel{\text{def}}{=}\frac{c_{xy}}{\sqrt{\mathrm{E}\{|x(\xi )|{}^2\}\mathrm{E}\{|y(\xi )|{}^2\}}}=\frac{c_{xy}}{{\sigma }_x{\sigma }_y},0⩽|{\rho }_{xy}|⩽1$

式中，$c_{xy}$ 是随机变量 $x(\xi )$ 和 $y(\xi )$ 之间的互协方差，而 ${\sigma }_x^2$ 和 ${\sigma }_y^2$ 分别是 $x(\xi )$ 和 $y(\xi )$ 的方差

相关系数 ${\rho }_{xy}$ 给出了两个随机变量 $x(\xi )$ 和 $y(\xi )$ 之间的相似程度的度量：${\rho }_{xy}$ 越接近于零，随机变量 $x(\xi )$ 和 $y(\xi )$ 的相似度越弱；反之，若 ${\rho }_{xy}$ 越接近于 1，则 $x(\xi )$ 和 $y(\xi )$ 的相似度越大。特别地，相关系数的两个极端值 0 和 1 有着重要的意义。

• $|{\rho }_{xy}|=1$：称 $x$ 和 $y$ 完全相关（相干），此时 $x(\xi )=cy(\xi )$，仅相差幅值比例与固定相位。
• ${\rho }_{xy}=0$：称 $x$ 和 $y$ 统计不相关（即互协方差 $c_{xy}=0$）。

向量的“统计不相关”与“正交”

• 统计不相关：两随机向量的互协方差矩阵为零矩阵，即 ${\mathbf{C}}_{xy}={\mathbf{O}}_{m\times n}$（说明减去均值后正交）

• 正交：两随机向量的互相关矩阵为零矩阵，即 ${\mathbf{R}}_{xy}={\mathbf{O}}_{m\times n}$（即任意元素满足 $\text{E}\{x_i{y}_j^{\ast }\}=0$）

• 重要推论：若随机向量 $\mathbf{x}$ 和 $\mathbf{y}$ 的均值向量有一个为零向量，则 “统计不相关” 与 “正交” 完全等价（因为此时 ${\mathbf{C}}_{xy}={\mathbf{R}}_{xy}$）

高斯随机向量

• 各分量均服从高斯分布的随机向量称为高斯随机向量。
• 性质：
  • 概率密度函数由均值向量和协方差矩阵完全描述。
  • 若高斯随机向量的各个分量相互统计不相关(互协方差为零)，则它们也统计独立(联合概率可拆)
  • 均值向量 ${\mathbf{\mu }}_x$ 和协方差矩阵 ${\mathbf{\Gamma }}_x$ 的高斯随机向量 $\mathbf{x}$ 的线性变换 $\mathbf{y}(\xi )=\mathbf{A}\mathbf{x}(\xi )$ 仍然为高斯随机向量，其概率密度函数为
    f(\boldsymbol{y}) = \frac{1}{(2\pi)^{m/2}\vert{}\boldsymbol{\Gamma}_y\vert{}^{1/2}} \exp \left[ -\frac{1}{2}(\boldsymbol{y} - \boldsymbol{\mu}_y)^{\mathrm{T}} \boldsymbol{\Gamma}_y^{-1} (\boldsymbol{y} - \boldsymbol{\mu}_y) \right] \quad (\text{实高斯随机向量}) \tag{1.5.37}
    f(\boldsymbol{y}) = \frac{1}{\pi^m \vert{}\boldsymbol{\Gamma}_y\vert{}} \exp \left[ -(\boldsymbol{y} - \boldsymbol{\mu}_y)^{\mathrm{H}} \boldsymbol{\Gamma}_y^{-1} (\boldsymbol{y} - \boldsymbol{\mu}_y) \right] \quad (\text{复正态随机向量}) \tag{1.5.38}

实高斯随机向量 $\mathbf{x}\sim N(\bar{\mathbf{x}},{\mathbf{\Gamma }}_x)$

• ${\mathbf{\Gamma }}_x$ 为$\mathbf{x}$的自协方差矩阵，$\bar{\mathbf{x}}$ 为均值向量
• 若各个元素独立同分布，则各随机变量间的协方差为0，有${\mathbf{\Gamma }}_x=diag({\sigma }_1^2,\dots ,{\sigma }_m^2)$
• 联合概率密度函数PDF（代入一维正态(高斯)分布的概率密度公式）：
  $各变量统计独立时\Rightarrow f(\mathbf{x})=f(x_1)\dots f(x_m)=\frac{1}{\sqrt{2\pi {\sigma }_1^2}}\exp \left[-\frac{(x_1-\overline{x_1}{)}^2}{2{\sigma }_1^2}\right]\dots$
  $=\frac{1}{(2\pi {)}^{m/2}|{\mathbf{\Gamma }}_x|{}^{1/2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\bar{\mathbf{x}}{)}^{\text{T}}{\mathbf{\Gamma }}_x^{-1}(\mathbf{x}-\bar{\mathbf{x}})\right)$
• 实高斯随机变量的特征函数：
  ${\Phi }_x(\mathbf{\omega })=\exp \left(\text{j}{\mathbf{\omega }}^{\text{T}}{\mathbf{\mu }}_x-\frac{1}{2}{\mathbf{\omega }}^{\text{T}}{\mathbf{\Gamma }}_x\mathbf{\omega }\right)$
• 元素之间不相互统计独立，则高斯随机向量 $\mathbf{x}\sim N(\bar{\mathbf{x}},{\mathbf{\Gamma }}_x)$ 的概率密度函数形式不变

复高斯随机向量 $\mathbf{x}\sim CN({\mathbf{\mu }}_x,{\mathbf{\Gamma }}_x)$

• 联合概率密度函数PDF：
  $f(\mathbf{x})=\frac{1}{{\pi }^m|{\mathbf{\Gamma }}_x|}\exp \left[-(\mathbf{x}-{\mathbf{\mu }}_x{)}^{\text{H}}{\mathbf{\Gamma }}_x^{-1}(\mathbf{x}-{\mathbf{\mu }}_x)\right]$
• 复高斯随机向量的特征函数：
  ${\Phi }_x(\mathbf{\omega })=\exp \left[\text{j}\text{Re}({\mathbf{\omega }}^{\text{H}}{\mathbf{\mu }}_x)-\frac{1}{4}{\mathbf{\omega }}^{\text{H}}{\mathbf{\Gamma }}_x\mathbf{\omega }\right]$