1.7-逆矩阵与伪逆矩阵

逆矩阵

逆矩阵

• 若存在 $n\times n$ 正方矩阵 $\mathbf{B}$ 满足 $\mathbf{BA}=\mathbf{AB}=\mathbf{I}$，则称 $\mathbf{B}$ 为 $\mathbf{A}$ 的逆矩阵，记作 ${\mathbf{A}}^{-1}$

对于矩阵 $\mathbf{A}\in {\mathbb{C}}^{n\times n}$，以下结论完全等价：

1. ${\mathbf{A}}^{-1}$ 存在
2. $\mathbf{A}$ 非奇异
3. $\mathrm{rank}(\mathbf{A})=n$
4. $\mathbf{A}$ 的行、列向量线性无关
5. $\mathbf{A}$ 的值域维数为 $n$（即 $\dim [\mathcal{R}(\mathbf{A})]=n$）
6. $\mathbf{A}$ 的零空间维数为 $0$（即 $\dim [\mathrm{Null}(\mathbf{A})]=0$）
7. $\mathbf{Ax}=\mathbf{b}$ 对每一个 $\mathbf{b}$ 有唯一解
8. $\mathbf{Ax}=\mathbf{O}$ 只有平凡解 $\mathbf{x}=\mathbf{O}$

逆矩阵有以下性质：

• 若 $\mathbf{A}=\mathrm{diag}(a_1,\dots ,a_m)$，则 ${\mathbf{A}}^{-1}=\mathrm{diag}(a_1^{-1},\dots ,a_m^{-1})$
• $\mathbf{A}$ 为正交矩阵 $⟺{\mathbf{A}}^{-1}={\mathbf{A}}^{\mathrm{T}}$
• $\mathbf{A}$ 为酉矩阵 $⟺{\mathbf{A}}^{-1}={\mathbf{A}}^{\mathrm{H}}$

矩阵求逆

(以下公式常用于把已有矩阵拆分成简单形式后处理)

Sherman-Morrison 公式(与秩一矩阵的和的逆)

设 $\mathbf{A}\in {\mathbb{C}}^{n\times n}$ 可逆，$\mathbf{x},\mathbf{y}\in {\mathbb{C}}^{n\times 1}$，且 $(\mathbf{A}+\mathbf{x}{\mathbf{y}}^{\mathrm{H}})$ 可逆：
$(\mathbf{A}+\mathbf{x}{\mathbf{y}}^{\mathrm{H}}{)}^{-1}={\mathbf{A}}^{-1}-\frac{{\mathbf{A}}^{-1}\mathbf{x}{\mathbf{y}}^{\mathrm{H}}{\mathbf{A}}^{-1}}{1+{\mathbf{y}}^{\mathrm{H}}{\mathbf{A}}^{-1}\mathbf{x}}$

Woodbury 公式（与矩阵的和逆）

• 通用形式：
  $(\mathbf{A}+\mathbf{UBV}{)}^{-1}={\mathbf{A}}^{-1}-{\mathbf{A}}^{-1}\mathbf{U}(\mathbf{B}+\mathbf{BV}{\mathbf{A}}^{-1}\mathbf{U}{)}^{-1}\mathbf{BV}{\mathbf{A}}^{-1}={\mathbf{A}}^{-1}-{\mathbf{A}}^{-1}\mathbf{U}(\mathbf{I}+\mathbf{BV}{\mathbf{A}}^{-1}\mathbf{U}{)}^{-1}\mathbf{BV}{\mathbf{A}}^{-1}$
  $(\mathbf{A}-\mathbf{UV}{)}^{-1}={\mathbf{A}}^{-1}+{\mathbf{A}}^{-1}\mathbf{U}(\mathbf{I}-\mathbf{V}{\mathbf{A}}^{-1}\mathbf{U}{)}^{-1}\mathbf{V}{\mathbf{A}}^{-1}$

• Duncan-Guttman 求逆公式
  $(\mathbf{A}-{\mathbf{UD}}^{-1}\mathbf{V}{)}^{-1}={\mathbf{A}}^{-1}+{\mathbf{A}}^{-1}\mathbf{U}(\mathbf{D}-\mathbf{V}{\mathbf{A}}^{-1}\mathbf{U}{)}^{-1}\mathbf{V}{\mathbf{A}}^{-1}$

分块矩阵求逆

• 基础三角分块求逆
  ${\left[\begin{array}{cc}\mathbf{A}& \mathbf{O}\\ \mathbf{O}& \mathbf{D}\end{array}\right]}^{-1}=\left[\begin{array}{cc}{\mathbf{A}}^{-1}& \mathbf{O}\\ \mathbf{O}& {\mathbf{D}}^{-1}\end{array}\right],{\left[\begin{array}{cc}\mathbf{A}& \mathbf{U}\\ \mathbf{O}& \mathbf{D}\end{array}\right]}^{-1}=\left[\begin{array}{cc}{\mathbf{A}}^{-1}& -{\mathbf{A}}^{-1}\mathbf{U}{\mathbf{D}}^{-1}\\ \mathbf{O}& {\mathbf{D}}^{-1}\end{array}\right]$

• 一般分块矩阵求逆与舒尔补
  若 $\mathbf{A}$ 可逆，定义块 $\mathbf{A}$ 的舒尔补（Schur Complement）为
  $\mathbf{S}=\mathbf{D}-\mathbf{V}{\mathbf{A}}^{-1}\mathbf{U}$
  ${\left[\begin{array}{cc}\mathbf{A}& \mathbf{U}\\ \mathbf{V}& \mathbf{D}\end{array}\right]}^{-1}=\left[\begin{array}{cc}{\mathbf{A}}^{-1}+{\mathbf{A}}^{-1}\mathbf{U}{\mathbf{S}}^{-1}\mathbf{V}{\mathbf{A}}^{-1}& -{\mathbf{A}}^{-1}\mathbf{U}{\mathbf{S}}^{-1}\\ -{\mathbf{S}}^{-1}\mathbf{V}{\mathbf{A}}^{-1}& {\mathbf{S}}^{-1}\end{array}\right]$

• 结构：右下角即为舒尔补的逆 ${\mathbf{S}}^{-1}$； 非对角线交叉乘以对应块并加负号；左上角为原 ${\mathbf{A}}^{-1}$ 加上低秩修正项

Hermitian 矩阵分块求逆(递推/秩1修正)

对于 Hermitian 分块矩阵 ${\mathbf{R}}_{m+1}=\left[\begin{array}{cc}{\mathbf{R}}_m& {\mathbf{r}}_m\\ {\mathbf{r}}_m^{\mathrm{H}}& {\rho }_m\end{array}\right]$，一般分块矩阵退化为包含标量的 Hermitian 阵(用待定系数法证明)（即 $\mathbf{U}=r_m,\mathbf{V}=r_m^H(向量),\mathbf{D}={\rho }_m(标量)$）时(

• 舒尔补：${\beta }_m={\rho }_m-r_m^H{R}_m^{-1}{r}_m={\rho }_m+r_m^H{b}_m$（其中 $b_m=-R_m^{-1}{r}_m$）
• 秩 1 修正递推公式：
  $R_{m+1}^{-1}=\left[\begin{array}{cc}{R}_m^{-1}& 0_m\\ 0_m^H& 0\end{array}\right]+\frac{1}{{\beta }_m}\left[\begin{array}{cc}{b}_m{b}_m^H& b_m\\ b_m^H& 1\end{array}\right]$

诺伊曼级数(矩阵的等比级数展开)

$(\mathbf{I}+\mathbf{B}{)}^{-1}=\mathbf{I}-\mathbf{B}+{\mathbf{B}}^2-{\mathbf{B}}^3+\cdots ={\sum }_{k=0}^{\infty }(-1{)}^k{\mathbf{B}}^k$
$(\mathbf{I}-\mathbf{B}{)}^{-1}=\mathbf{I}+\mathbf{B}+{\mathbf{B}}^2+{\mathbf{B}}^3+\cdots$

求解矩阵方程 (A-UV)x=b

原理：在Woodbury公式左右同乘b，对应每一项得到

假定 $\mathbf{A},\mathbf{U},\mathbf{V}$ 均为 $n\times n$ 矩阵

1. 求解矩阵方程 $\mathbf{Ay}=\mathbf{b}$ 得到 $\mathbf{y}$。
2. 通过求解矩阵方程 $\mathbf{A}{\mathbf{w}}_i={\mathbf{u}}_i$ 得到 ${\mathbf{w}}_i$，其中 ${\mathbf{u}}_i$ 是矩阵 $\mathbf{U}$ 的第 $i$ 列；然后构造矩阵 $\mathbf{W}=[{\mathbf{w}}_1,\dots ,{\mathbf{w}}_n]$，此即 $\mathbf{W}={\mathbf{A}}^{-1}\mathbf{U}$ 的结果
3. 构造矩阵 $\mathbf{C}=\mathbf{I}-\mathbf{VW}$ 和向量 $\mathbf{Vy}$，并求解线性方程 $\mathbf{Cz}=\mathbf{Vy}$，得到 $\mathbf{z}$
4. 矩阵方程 $(\mathbf{A}-\mathbf{UV})\mathbf{x}=\mathbf{b}$ 的解由 $\mathbf{x}=\mathbf{y}+\mathbf{Wz}$ 给出

上述方法只需要矩阵的初等变换和基本运算，把对复杂/修改后矩阵 $(\mathbf{A}-\mathbf{UV})$ 的求解，转化为了对“结构好/已知”的矩阵 $\mathbf{A}$ 的多次快速求解与低秩修正，从而大幅节省计算量并保留矩阵的优良特性

左逆矩阵与右逆矩阵

长方形矩阵 $\mathbf{A}\in {\mathbb{C}}^{m\times n}$，左乘$\mathbf{L}$化单位阵$\mathbf{L}$为左逆，右乘为右逆

左逆矩阵

• 定义：满足 $\mathbf{LA}=\mathbf{I}$，但不满足 $\mathbf{AL}=\mathbf{I}$ 的矩阵 $\mathbf{L}$ ( $m>n$)

• 左伪逆矩阵

  • 对于满列秩的高瘦矩阵($m>n,rank\mathbf{A}=n$)，${\mathbf{A}}^H\mathbf{A}$ 可逆，其左逆矩阵唯一确定
    $\mathbf{L}=({\mathbf{A}}^{\mathrm{H}}\mathbf{A}{)}^{-1}{\mathbf{A}}^{\mathrm{H}}$
  • 左伪逆矩阵与超定方程的最小二乘解密切相关。

右逆矩阵

• 定义：满足 $\mathbf{AR}=\mathbf{I}$，但不满足 $\mathbf{RA}=\mathbf{I}$ 的矩阵 $\mathbf{R}$ ($m<n$)

• 右伪逆矩阵

  • 对于满行秩的矮胖矩阵($m<n,rank\mathbf{A}=m$)，$\mathbf{A}{\mathbf{A}}^H$ 可逆，其右逆矩阵唯一确定
    $\mathbf{R}={\mathbf{A}}^{\mathrm{H}}(\mathbf{A}{\mathbf{A}}^{\mathrm{H}}{)}^{-1}$
  • 右伪逆矩阵与欠定方程的最小二乘最小范数解密切相关。

补充

• 右乘左逆矩阵得到 Hermitian矩阵
  $\mathbf{AL}=\mathbf{A}({\mathbf{A}}^{\mathrm{H}}\mathbf{A}{)}^{-1}{\mathbf{A}}^{\mathrm{H}}=(\mathbf{AL}{)}^{\mathrm{H}}$
• 左乘右逆矩阵得到 Hermitian矩阵
  $\mathbf{LA}=({\mathbf{A}}^{\mathrm{H}}\mathbf{A}{)}^{-1}{\mathbf{A}}^{\mathrm{H}}\mathbf{A}=(\mathbf{LA}{)}^{\mathrm{H}}$

伪逆矩阵的阶数递推公式

（证明：利用递推式写成分块矩阵形式，然后利用舒尔补求逆）

• 左伪逆递推: 设满列秩 $n\times m$ 矩阵 ${\mathbf{F}}_m=[{\mathbf{F}}_{m-1},{\mathbf{f}}_m]\in {\mathbb{C}}^{n\times m},n>m$
  ${\mathbf{F}}_m^{†}=\left[\begin{array}{c}{\mathbf{F}}_{m-1}^{†}-{\mathbf{F}}_{m-1}^{†}{\mathbf{f}}_m{\mathbf{e}}_m^{\mathrm{H}}{\Delta }_m^{-1}\\ {\mathbf{e}}_m^{\mathrm{H}}{\Delta }_m^{-1}\end{array}\right]$
  其中 ${\mathbf{e}}_m=({\mathbf{I}}_n-{\mathbf{F}}_{m-1}{\mathbf{F}}_{m-1}^{†}){\mathbf{f}}_m$，${\Delta }_m={\mathbf{f}}_m^{\mathrm{H}}{\mathbf{e}}_m$；初值 ${\mathbf{F}}_1^{†}={\mathbf{f}}_1^{\mathrm{H}}/({\mathbf{f}}_1^{\mathrm{H}}{\mathbf{f}}_1)$。
• 右伪逆递推: 设满行秩 $n\times m$ 矩阵 ${\mathbf{F}}_m=[{\mathbf{F}}_{m-1},{\mathbf{f}}_m]\in {\mathbb{C}}^{n\times m},n<m$
  ${\mathbf{F}}_m^{†}=\left[\begin{array}{c}{\mathbf{F}}_{m-1}^{†}-{\Delta }_m{\mathbf{F}}_{m-1}^{†}{\mathbf{f}}_m{\mathbf{c}}_m^{\mathrm{H}}\\ {\Delta }_m{\mathbf{c}}_m^{\mathrm{H}}\end{array}\right]$
  其中 ${\mathbf{c}}_m^{\mathrm{H}}={\mathbf{f}}_m^{\mathrm{H}}({\mathbf{I}}_n-{\mathbf{F}}_{m-1}{\mathbf{F}}_{m-1}^{†})$，${\Delta }_m=({\mathbf{c}}_m^{\mathrm{H}}{\mathbf{f}}_m{)}^{-1}$；初值 ${\mathbf{F}}_1^{†}={\mathbf{f}}_1^{\mathrm{H}}/({\mathbf{f}}_1^{\mathrm{H}}{\mathbf{f}}_1)$。