1.8-Moore-Penrose 逆矩阵

引入

• 对于秩亏缺矩阵 $\mathbf{A}$不存在普通的双边逆矩阵（矩阵乘积的秩变小）

• 考虑矩阵方程的求解

  • 求解矩阵方程 $\mathbf{A}x=y$，同乘后化为 $\mathbf{A}{\mathbf{A}}^{†}\mathbf{A}x=\mathbf{A}{\mathbf{A}}^{{}^{†}}\mathbf{y}$，若 ${\mathbf{A}}^{{}^{†}}$ 是 $\mathbf{A}$ 的广义逆矩阵，则 $x={\mathbf{A}}^{{}^{†}}y$ ，代入后得到 $\mathbf{A}{\mathbf{A}}^{{}^{†}}\mathbf{A}x=\mathbf{A}x$ $\Rightarrow$ $\mathbf{A}{\mathbf{A}}^{{}^{†}}\mathbf{A}=\mathbf{A}$ ；
  • 求解矩阵方程 $x={\mathbf{A}}^{{}^{†}}y$，同乘后化为 ${\mathbf{A}}^{†}\mathbf{A}x={\mathbf{A}}^{{}^{†}}\mathbf{A}{\mathbf{A}}^{{}^{†}}\mathbf{y}$，若 ${\mathbf{A}}^{{}^{†}}$ 是 $\mathbf{A}$ 的广义逆矩阵，则 $y=\mathbf{A}x$ ，代入后得到 ${\mathbf{A}}^{{}^{†}}y={\mathbf{A}}^{{}^{†}}\mathbf{A}{\mathbf{A}}^{{}^{†}}y$ $\Rightarrow$ ${\mathbf{A}}^{†}\mathbf{A}{\mathbf{A}}^{†}={\mathbf{A}}^{†}$
  • 第一条保证${\mathbf{A}}^{{}^{†}}$是$\mathbf{A}$的广义逆矩阵(nxm)；第二条保证$\mathbf{A}$是${\mathbf{A}}^{{}^{†}}$的广义逆矩阵

• 考虑到希望该定义包括左右逆矩阵，可以引入Hermitian性质

Moore-Penrose 条件

对于任意矩阵 $\mathbf{A}\in {\mathbb{C}}^{m\times n}$，若矩阵 ${\mathbf{A}}^{†}\in {\mathbb{C}}^{n\times m}$ 满足以下四个条件，则称 ${\mathbf{A}}^{†}$ 为 $\mathbf{A}$ 的 Moore-Penrose 逆矩阵：

1. 自反性：$\mathbf{A}{\mathbf{A}}^{†}\mathbf{A}=\mathbf{A}$ (${\mathbf{A}}^{†}$是$\mathbf{A}$的广义逆矩阵)
2. 自反性：${\mathbf{A}}^{†}\mathbf{A}{\mathbf{A}}^{†}={\mathbf{A}}^{†}$ ($\mathbf{A}$是${\mathbf{A}}^{†}$的广义逆矩阵)
3. Hermitian 性：$(\mathbf{A}{\mathbf{A}}^{†}{)}^{\mathrm{H}}=\mathbf{A}{\mathbf{A}}^{†}$ (正交投影)
4. Hermitian 性：$({\mathbf{A}}^{†}\mathbf{A}{)}^{\mathrm{H}}={\mathbf{A}}^{†}\mathbf{A}$ (正交投影)

• 补充：任意矩阵 $A_{m\times n}$ 的 Moore-Penrose 逆矩阵都可以由 $A^{†}=(A^{\mathrm{H}}A{)}^{†}{A}^{\mathrm{H}}$ 或 $A^{†}=A^{\mathrm{H}}(A{A}^{\mathrm{H}}{)}^{†}$ 确定。见[Moore-Penrose 逆矩阵的存在性构造](05----资料/矩阵分析与应用/补充/Moore-Penrose 逆矩阵的存在性构造)

广义逆矩阵类型	满足的条件	适用场景	计算成本
广义逆 ${\mathbf{A}}^{-}$	(1)	构造通解、求解相容方程组	非常低
自反广义逆	(1)(2)	保留秩的性质 $\text{rank}(\mathbf{G})=\text{rank}(\mathbf{A})$	较低
正规化广义逆	(1)(2)(3)	求解最小二乘解	中等
弱广义逆	(1)(2)(4)	求解最小范数解	中等
M-P 逆 ${\mathbf{A}}^{†}$	(1)(2)(3)(4)	求解唯一的最小范数最小二乘解	较高

• 特例
  • 方阵非奇异：${\mathbf{A}}^{†}={\mathbf{A}}^{-1}$
  • 满列秩 ($m>n$)：${\mathbf{A}}^{†}=({\mathbf{A}}^{\mathrm{H}}\mathbf{A}{)}^{-1}{\mathbf{A}}^{\mathrm{H}}$ （左伪逆）
  • 满行秩 ($m<n$)：${\mathbf{A}}^{†}={\mathbf{A}}^{\mathrm{H}}(\mathbf{A}{\mathbf{A}}^{\mathrm{H}}{)}^{-1}$ （右伪逆）
  • 一般的左逆矩阵只满足(1)(2)(3)
  • 一般的右逆矩阵只满足(1)(2)(4)

Moore-Penrose 逆矩阵的主要性质

1. 唯一性：${\mathbf{A}}^{†}$ 唯一存在。

2. 共轭转置：$({\mathbf{A}}^{\mathrm{H}}{)}^{†}=({\mathbf{A}}^{†}{)}^{\mathrm{H}}$

3. 二次求逆：$({\mathbf{A}}^{†}{)}^{†}=\mathbf{A}$

4. 数乘：$(c\mathbf{A}{)}^{†}=\frac{1}{c}{\mathbf{A}}^{†}(c\ne 0)$

5. 对角阵：$\mathbf{D}=\text{diag}(d_{11},\dots ,d_{nn})\Rightarrow {\mathbf{D}}^{†}=\text{diag}(d_{11}^{†},\dots ,d_{nn}^{†})$，其中 $d_{ii}\ne 0$ 时 $d_{ii}^{†}=d_{ii}^{-1}$，否则为 $0$。

6. 零矩阵：${\mathbf{O}}_{m\times n}^{†}={\mathbf{O}}_{n\times m}$

7. 向量：${\mathbf{x}}^{†}=({\mathbf{x}}^{\mathrm{H}}\mathbf{x}{)}^{-1}{\mathbf{x}}^{\mathrm{H}}=\frac{{\mathbf{x}}^{\mathrm{H}}}{\Vert \mathbf{x}\Vert {}_2^2}$

8. 对矩阵 ${\mathbf{A}}_{m\times n}$，虽然 $\mathbf{A}{\mathbf{A}}^{†}\ne {\mathbf{I}}_m$, ${\mathbf{A}}^{†}\mathbf{A}\ne {\mathbf{I}}_n$, ${\mathbf{A}}^{\mathrm{H}}({\mathbf{A}}^{\mathrm{H}}{)}^{†}\ne {\mathbf{I}}_n$ 和 $({\mathbf{A}}^{\mathrm{H}}{)}^{†}{\mathbf{A}}^{\mathrm{H}}\ne {\mathbf{I}}_m$，但有乘积关系
   ① ${\mathbf{A}}^{†}\mathbf{A}{\mathbf{A}}^{\mathrm{H}}={\mathbf{A}}^{\mathrm{H}}$ 和 ${\mathbf{A}}^{\mathrm{H}}\mathbf{A}{\mathbf{A}}^{†}={\mathbf{A}}^{\mathrm{H}}$
   ② $\mathbf{A}{\mathbf{A}}^{†}({\mathbf{A}}^{†}{)}^{\mathrm{H}}=({\mathbf{A}}^{†}{)}^{\mathrm{H}}$ 和 $({\mathbf{A}}^{\mathrm{H}}{)}^{†}{\mathbf{A}}^{†}\mathbf{A}=({\mathbf{A}}^{†}{)}^{\mathrm{H}}$
   ③ $({\mathbf{A}}^{\mathrm{H}}{)}^{†}{\mathbf{A}}^{{}^{†}}\mathbf{A}=\mathbf{A}$ 和 $\mathbf{A}{\mathbf{A}}^{\mathrm{H}}({\mathbf{A}}^{\mathrm{H}}{)}^{†}=\mathbf{A}$
   ④ ${\mathbf{A}}^{\mathrm{H}}({\mathbf{A}}^{†}{)}^{\mathrm{H}}{\mathbf{A}}^{†}={\mathbf{A}}^{†}$ 和 ${\mathbf{A}}^{†}({\mathbf{A}}^{†}{)}^{\mathrm{H}}{\mathbf{A}}^{\mathrm{H}}={\mathbf{A}}^{†}$

9. 若 $\mathbf{A}=\mathbf{B}\mathbf{C}$，并且 $\mathbf{B}$ 满列秩，$\mathbf{C}$ 满行秩，则
   ${\mathbf{A}}^{†}={\mathbf{C}}^{†}{\mathbf{B}}^{†}={\mathbf{C}}^{\mathrm{H}}(\mathbf{C}{\mathbf{C}}^{\mathrm{H}}{)}^{-1}({\mathbf{B}}^{\mathrm{H}}\mathbf{B}{)}^{-1}{\mathbf{B}}^{\mathrm{H}}$

10. 若 ${\mathbf{A}}^{\mathrm{H}}=\mathbf{A}$，并且 ${\mathbf{A}}^2=\mathbf{A}$，则 ${\mathbf{A}}^{†}=\mathbf{A}$。

11. $(\mathbf{A}{\mathbf{A}}^{\mathrm{H}}{)}^{†}=({\mathbf{A}}^{†}{)}^{\mathrm{H}}{\mathbf{A}}^{†}$ ， $(\mathbf{A}{\mathbf{A}}^{\mathrm{H}}{)}^{†}(\mathbf{A}{\mathbf{A}}^{\mathrm{H}})=\mathbf{A}{\mathbf{A}}^{†}$

12. 若矩阵 ${\mathbf{A}}_i$ 相互正交，即 ${\mathbf{A}}_i^{\mathrm{H}}{\mathbf{A}}_j=\mathbf{O},i\ne j$，则 $({\mathbf{A}}_1+\cdots +{\mathbf{A}}_m{)}^{†}={\mathbf{A}}_1^{†}+\cdots +{\mathbf{A}}_m^{†}$。

13. 关于广义逆矩阵的秩，有 $\text{rank}({\mathbf{A}}^{†})=\text{rank}(\mathbf{A})=\text{rank}({\mathbf{A}}^{\mathrm{H}})=\text{rank}({\mathbf{A}}^{†}\mathbf{A})=\text{rank}(\mathbf{A}{\mathbf{A}}^{†})=\text{rank}(\mathbf{A}{\mathbf{A}}^{†}\mathbf{A})=\text{rank}({\mathbf{A}}^{†}\mathbf{A}{\mathbf{A}}^{†})$

14. 幂等性：$(\mathbf{M}{\mathbf{M}}^{†}{)}^2=\mathbf{M}{\mathbf{M}}^{†}$ (投影算子)，又满足正交投影的Hermitian 性质。
    得到正交投影算子 $\mathbf{P}=\mathbf{M}{\mathbf{M}}^{†}$ ，几何功能为把全空间中的任意向量，滤除沿左零空间 $\mathcal{N}({\mathbf{M}}^{\text{T}})$ 方向的垂直分量，将任意向量以最短欧氏距离映射到矩阵 $\mathbf{M}$ 的列空间上

Moore-Penrose逆矩阵的计算

方程求解法 (Penrose 两步法)

• 第一步：求解矩阵方程 $A{A}^{\mathrm{H}}{X}^{\mathrm{H}}=A$ 和 $A^{\mathrm{H}}AY=A^{\mathrm{H}}$，分别得到 $X^{\mathrm{H}}$ 和 $Y$。

• 第二步：计算广义逆矩阵 $A^{†}=XAY$。

• 基于[Moore-Penrose 条件](05----资料/矩阵分析与应用/笔记/1-矩阵代数基础/1.8-Moore-Penrose 逆矩阵#Moore-Penrose 条件)的补充

• 算法一

  • 计算矩阵 $B=A{A}^{\mathrm{H}}$
  • 求解矩阵方程 $B^2{X}^{\mathrm{H}}=B$，得到矩阵 $X^{\mathrm{H}}$
  • 计算 $B$ 的 Moore-Penrose 逆矩阵 $B^{†}=(A{A}^{\mathrm{H}}{)}^{†}=XB{X}^{\mathrm{H}}$
  • 计算矩阵 $A$ 的 Moore-Penrose 逆矩阵 $A^{†}=A^{\mathrm{H}}(A{A}^{\mathrm{H}}{)}^{†}=A^{\mathrm{H}}{B}^{†}$

• 算法二

  • 计算矩阵 $B=A^{\mathrm{H}}A$
  • 求解矩阵方程 $B^2{X}^{\mathrm{H}}=B$，得到矩阵 $X^{\mathrm{H}}$
  • 计算 $B$ 的 Moore-Penrose 逆矩阵 $B^{†}=(A^{\mathrm{H}}A{)}^{†}=XB{X}^{\mathrm{H}}$
  • 计算矩阵 $A$ 的 Moore-Penrose 逆矩阵 $A^{†}=(A^{\mathrm{H}}A{)}^{†}{A}^{\mathrm{H}}=B^{†}{A}^{\mathrm{H}}$。

满秩分解法

1. 对 ${\mathbf{A}}_{m\times n}$ 作行简化阶梯型，求得满秩分解$\mathbf{A}={\mathbf{F}}_{m\times r}{\mathbf{G}}_{r\times n}$（$\mathbf{F}$ 满列秩，$\mathbf{G}$ 满行秩）
2. 则 ${\mathbf{A}}^{†}={\mathbf{G}}^{\mathrm{H}}(\mathbf{G}{\mathbf{G}}^{\mathrm{H}}{)}^{-1}({\mathbf{F}}^{\mathrm{H}}\mathbf{F}{)}^{-1}{\mathbf{F}}^{\mathrm{H}}$

Greville 列递推法

对矩阵 ${\mathbf{A}}_k=[{\mathbf{A}}_{k-1},{\mathbf{a}}_k]$ 逐列递推计算：

• 初始值：${\mathbf{A}}_1^{†}={\mathbf{a}}_1^{†}=\frac{{\mathbf{a}}_1^{\mathrm{H}}}{{\mathbf{a}}_1^{\mathrm{H}}{\mathbf{a}}_1}$

• 递推步骤：

  • ${\mathbf{d}}_k={\mathbf{A}}_{k-1}^{†}{\mathbf{a}}_k$
  • ${\mathbf{b}}_k=\{\begin{array}{ll}(1+{\mathbf{d}}_k^{\mathrm{H}}{\mathbf{d}}_k{)}^{-1}{\mathbf{d}}_k^{\mathrm{H}}{\mathbf{A}}_{k-1}^{†},& {\mathbf{a}}_k-{\mathbf{A}}_{k-1}{\mathbf{d}}_k=0\\ ({\mathbf{a}}_k-{\mathbf{A}}_{k-1}{\mathbf{d}}_k{)}^{†},& {\mathbf{a}}_k-{\mathbf{A}}_{k-1}{\mathbf{d}}_k\ne 0\end{array}$
  • ${\mathbf{A}}_k^{†}=\left[\begin{array}{c}{\mathbf{A}}_{k-1}^{†}-{\mathbf{d}}_k{\mathbf{b}}_k\\ {\mathbf{b}}_k\end{array}\right]$

• 当行少于列时，优先共轭转置后递推，再共轭转置回来

迹方法

1. $\mathbf{B}={\mathbf{A}}^{\mathrm{T}}\mathbf{A}$
2. 令 ${\mathbf{C}}_1=\mathbf{I}$
3. 递推计算：
   ${\mathbf{C}}_{i+1}=\frac{1}{i}\text{tr}({\mathbf{C}}_i\mathbf{B})\mathbf{I}-{\mathbf{C}}_i\mathbf{B},i=1,2,\dots ,r-1$
4. ${\mathbf{A}}^{†}=\frac{r}{\text{tr}({\mathbf{C}}_r\mathbf{B})}{\mathbf{C}}_r{\mathbf{A}}^{\mathrm{T}}$

四种方法比较

方法	主要优点	主要缺点	更适合什么情况
方程求解法	思路直接，与 MP 四条件联系最紧	需要解矩阵方程；实际数值计算不算方便	理论推导、证明、理解 MP 逆定义
满秩分解法	公式清晰，只需对较小矩阵求逆	需要先找到满秩分解；求逆仍可能受病态矩阵影响	已知秩 rr、矩阵秩较低、手算与理论分析
Greville 列递推法	可以逐步更新，不必每次重新计算整个伪逆	公式较复杂；列很多时递推次数多	矩阵动态增加列、在线计算
迹方法	形式统一，不需要显式做满秩分解	递推复杂，对数值误差较敏感，实际应用较少	理论研究、特殊解析计算

最小范数&最小二乘解

一致方程的最小范数解

方程 $\mathbf{Ax}=\mathbf{y}$一致（即 $\mathbf{y}\in \mathcal{R}(\mathbf{A})$，存在精确解）

若 $\mathbf{A}$ 行满秩时($\mathrm{rank}(\mathbf{A})=m<n$)，解不唯一，其中范数$\Vert \mathbf{x}{\Vert }_2$最小的解为

$$\mathbf{x}={\mathbf{A}}^H(\mathbf{A}{\mathbf{A}}^H{)}^{-1}\mathbf{y}$$

• 几何含义：方程个数 $\le$ 未知数个数 → 解不唯一
• ${\mathbf{A}}^H$的列空间与 $\mathbf{A}$ 的零空间正交。在所有精确解中，把零空间方向上的“多余分量”去掉，只保留与零空间正交的那部分，所以范数最小。

非一致方程的最小二乘解

方程 $\mathbf{Ax}=\mathbf{y}$ 非一致（即 $\mathbf{y}\notin \mathcal{R}(\mathbf{A})$，无精确解）

若 $\mathbf{A}$ 列满秩($\mathrm{rank}(\mathbf{A})=n\le m$)，其误差$\Vert \mathbf{Ax}-\mathbf{y}{\Vert }_2$最小的近似解为

$$\mathbf{x}=({\mathbf{A}}^H\mathbf{A}{)}^{-1}{\mathbf{A}}^H\mathbf{y}$$

• 几何含义：未知数个数 $\le$ 方程个数 → 解唯一

秩亏缺情形(最小范数最小二乘解)

当 $\mathrm{rank}(\mathbf{A})<\min \{m,n\}$）时：

• 一致方程：解不唯一，需加最小范数约束
• 非一致方程：最小二乘解不唯一，需进一步选择其中范数最小的解

此时两种问题统一为最小范数最小二乘解，由 Moore-Penrose 逆给出：

$$\boxed{\mathbf{x}={\mathbf{A}}^{†}\mathbf{y}}$$

该解同时满足：

1. 误差最小化：$\min \Vert \mathbf{Ax}-\mathbf{y}{\Vert }_2$
2. 范数最小化：在所有最小二乘解中 $\Vert \mathbf{x}{\Vert }_2$ 最小

矩阵 $\mathbf{A}$ 的所有可能输出都属于其列空间 $\mathcal{R}(\mathbf{A})$。欧氏空间中，距离子空间最近的点是该向量在子空间上的正交投影。
Moore-Penrose 逆满足 $\mathbf{A}{\mathbf{A}}^{†}$ 是到 $\mathcal{R}(\mathbf{A})$ 的正交投影矩阵。
设所有能得到同一个最优输出 $\mathbf{A}{\mathbf{x}}_{\star }$ 的解为：$\mathbf{x}={\mathbf{x}}_{\star }+\mathbf{z}$，且$\mathbf{A}({\mathbf{x}}_{\star }+\mathbf{z})=\mathbf{A}{\mathbf{x}}_{\star }+\mathbf{Az}=\mathbf{A}{\mathbf{x}}_{\star }.$
由基本子空间正交关系：

$$\boxed{\mathcal{R}({\mathbf{A}}^H)=\mathcal{N}(\mathbf{A}{)}^{\perp }}.$$

因此${\mathbf{x}}_{\star }\perp \mathbf{z}$