1.6-矩阵的性能指标

性能指标	描述的矩阵性能
二次型	矩阵的正定性与负定性
行列式	矩阵的奇异性
特征值	矩阵的奇异性、正定性和对角元素的结构
迹	矩阵对角元素之和、特征值之和
秩	行（或列）之间的线性无关性；矩阵方程的适定性

二次型

• 定义：方阵 $A$ 的二次型为 $x^{H}Ax$ ，$x$ 为任意非零复向量。
  实数域内可展开为
  ${\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}={\sum }_{i=1}^n{\sum }_{j=1}^n{x}_i{x}_j{a}_{ij}={\sum }_{i=1}^n{a}_{ii}{x}_i^2+{\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^n(a_{ij}+a_{ji})x_i{x}_j$

• 同一个二次型多元多项式函数 $f(x_1,\dots ,x_n)$ 可以由无数个不同的非对称矩阵 $\mathbf{A}$ 产生

• 唯一性条件：通常规定矩阵 $\mathbf{A}$ 必须为Hermitian矩阵（即 $\mathbf{A}={\mathbf{A}}^{\mathrm{H}}$），此时保证唯一性，且一定为实值函数

矩阵类型	记号	二次型取值
正定矩阵	$\mathbf{A}\succ 0$	${\mathbf{x}}^{\mathrm{H}}\mathbf{A}\mathbf{x}>0$
半正定矩阵	$\mathbf{A}⪰0$	${\mathbf{x}}^{\mathrm{H}}\mathbf{A}\mathbf{x}⩾0$
负定矩阵	$\mathbf{A}\prec 0$	${\mathbf{x}}^{\mathrm{H}}\mathbf{A}\mathbf{x}<0$
半负定矩阵	$\mathbf{A}⪯0$	${\mathbf{x}}^{\mathrm{H}}\mathbf{A}\mathbf{x}⩽0$
不定矩阵	—	既可能取正值，也可能取负值

行列式

对于 $n\times n$ 正方形矩阵 $\mathbf{A}$，其行列式记作 $\det (\mathbf{A})$ 或 $|\mathbf{A}|$：
$\det (\mathbf{A})=|\mathbf{A}|=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|$

• 余子式${\mathbf{A}}_{ij}$，去掉第 $i$ 行和第 $j$ 列后剩下的子矩阵
• 主子式${\mathbf{A}}_{ii}$， $j=i$
• 代数余子式 $A_{ij}=(-1{)}^{i+j}\det ({\mathbf{A}}_{ij})$

拉普拉斯展开

行列式可沿任意一行 $i$ 或任意一列 $j$ 展开递推计算：

• 按第 $i$ 行展开：$\det (\mathbf{A})={\sum }_{j=1}^n{a}_{ij}{A}_{ij}={\sum }_{j=1}^n{a}_{ij}(-1{)}^{i+j}\det ({\mathbf{A}}_{ij})$
• 按第 $j$ 列展开：$\det (\mathbf{A})={\sum }_{i=1}^n{a}_{ij}{A}_{ij}={\sum }_{i=1}^n{a}_{ij}(-1{)}^{i+j}\det ({\mathbf{A}}_{ij})$

行列式的等式

• 非奇异 $⟺$ 行列式不为零 $\det (A)\ne 0$
• $\det (\mathbf{A})=\det ({\mathbf{A}}^{\mathrm{T}})$， $\det ({\mathbf{A}}^{\mathrm{H}})=[\det ({\mathbf{A}}^{\mathrm{T}}){]}^{\ast }$。
• Hermitian 矩阵的行列式为实数，因为
  $\det (\mathbf{A})=\det ({\mathbf{A}}^{\mathrm{H}})=\det ({\mathbf{A}}^{\mathrm{T}})\Rightarrow \det (\mathbf{A})=\det ({\mathbf{A}}^{\ast })=[\det (\mathbf{A}){]}^{\ast }$
• $\det (\mathbf{AB})=\det (\mathbf{A})\det (\mathbf{B})$ （连续做两个线性变换，总的体积缩放倍数为两次乘积）
• 任意常数$c$， $\det (c\mathbf{A})=c^n\det (\mathbf{A})$。
• 若 $\mathbf{A}$ 非奇异，则 $\det ({\mathbf{A}}^{-1})=1/\det (\mathbf{A})$。
• 三角（上三角或下三角）矩阵 $\mathbf{A}$ 的行列式等于其主对角线所有元素的乘积
  $\det (\mathbf{A})={\prod }_{i=1}^n{a}_{ii}$
• 对于矩阵 ${\mathbf{A}}_{m\times m},{\mathbf{B}}_{m\times n},{\mathbf{C}}_{n\times m},{\mathbf{D}}_{n\times n}$，分块矩阵的行列式满足
  $\mathbf{A}\text{ 非奇异}⟺\det \left[\begin{array}{cc}\mathbf{A}& \mathbf{B}\\ \mathbf{C}& \mathbf{D}\end{array}\right]=\det (\mathbf{A})\det (\mathbf{D}-{\mathbf{CA}}^{-1}\mathbf{B})$

行列式的不等式

• Cauchy-Schwartz 不等式（对于 $m\times n$ 矩阵 $\mathbf{A},\mathbf{B}$）
  $|\det ({\mathbf{A}}^{\mathrm{H}}\mathbf{B})|{}^2\le \det ({\mathbf{A}}^{\mathrm{H}}\mathbf{A})\det ({\mathbf{B}}^{\mathrm{H}}\mathbf{B})$
• Hadamard 不等式（对于 $m\times m$ 矩阵 $\mathbf{A}$）
  $\det (\mathbf{A})\le {\prod }_{i=1}^m{\left({\sum }_{j=1}^m|a_{ij}|{}^2\right)}^{1/2}$
• Fischer 不等式
  $\det \left[\begin{array}{cc}\mathbf{A}& \mathbf{B}\\ {\mathbf{B}}^{\mathrm{H}}& \mathbf{C}\end{array}\right]\le \det (\mathbf{A})\det (\mathbf{C})$
• Minkowski 不等式（对于半正定矩阵 ${\mathbf{A}}_{m\times m},{\mathbf{B}}_{m\times m}\ne \mathbf{O}$）
  $\sqrt[m]{\det (\mathbf{A}+\mathbf{B})}\ge \sqrt[m]{\det (\mathbf{A})}+\sqrt[m]{\det (\mathbf{B})}$
• 正定性与行列式大小关系
  • 若 $\mathbf{A}$ 正定：$\det (\mathbf{A})>0$
  • 若 $\mathbf{A}$ 半正定：$\det (\mathbf{A})\ge 0$，且 $(\det (\mathbf{A}){)}^{1/m}\le \frac{1}{m}\det (\mathbf{A})$
  • 若 $\mathbf{A},\mathbf{B}$ 均半正定：$\det (\mathbf{A}+\mathbf{B})\ge \det (\mathbf{A})+\det (\mathbf{B})$
  • 若 $\mathbf{A}$ 正定，$\mathbf{B}$ 半正定：$\det (\mathbf{A}+\mathbf{B})\ge \det (\mathbf{A})$
  • 若 $\mathbf{A}$ 正定，$\mathbf{B}$ 半负定：$\det (\mathbf{A}+\mathbf{B})\le \det (\mathbf{A})$

特征值

定义

对于线性变换(矩阵) $\mathcal{L}$，若存在非零向量 $\mathbf{u}$ 与标量 $\lambda$，满足：
$\mathcal{L}\mathbf{u}=\lambda \mathbf{u},\mathbf{u}\ne \mathbf{O}$
则称 $\lambda$ 为线性变换的特征值，$\mathbf{u}$ 为对应的特征向量

• 特征方程

  • 由 $(\mathbf{A}-\lambda \mathbf{I})\mathbf{u}=\mathbf{O}$ 存在非零解 $\mathbf{u}\ne \mathbf{O}$，可得特征方程：
    $\det (\mathbf{A}-\lambda \mathbf{I})=0$

• 意义：

  • 特征向量 $\mathbf{u}$：刻画了在变换下保持方向不变的固有方向（系统的向量特征）
  • 特征值 $\lambda$：刻画了系统在特定特征向量方向上的放缩比例/增益

特征值与奇异性

• 零特征值与奇异性：若存在 $\lambda =0$ 是特征值 $⟺\det (\mathbf{A})=0$（$\mathbf{A}$ 为奇异矩阵）
• 非零奇异矩阵：只有零矩阵的特征值才全为 0；任何非零的奇异矩阵一定存在非零特征值
• 非奇异矩阵：矩阵非奇异 $⟺$ 所有特征值均不为零。

性质

矩阵 $\mathbf{A}$ 的特征值集合常表示为 $\mathrm{eig}(\mathbf{A})$

• 乘积交换性
  $\mathrm{eig}(\mathbf{AB})=\mathrm{eig}(\mathbf{BA})$
• $m\times n$ 矩阵 $\mathbf{A}$ 最多有 $\min \{m,n\}$ 个不同特征值。
• 若 $\mathrm{rank}(\mathbf{A})=r$，则 $\mathbf{A}$ 最多有 $r$ 个非零特征值。
• 若 $\mathbf{A}$ 可逆，则：
  $\mathrm{eig}({\mathbf{A}}^{-1})=\frac{1}{\mathrm{eig}(\mathbf{A})}$
• 线性变换与平移（$\mathbf{I}$ 为单位阵）：
  $\mathrm{eig}(\mathbf{I}+c\mathbf{A})=1+c\mathrm{eig}(\mathbf{A})$
  $\mathrm{eig}(\mathbf{A}-c\mathbf{I})=\mathrm{eig}(\mathbf{A})-c$
• ${\mathbf{A}}^k$ 特征值 是 ${\lambda }_i^k$

正定性与特征值

矩阵类型	特征值取值特征
正定矩阵	所有特征值均取正实数（${\lambda }_i>0$）
半正定矩阵	所有特征值均取非负实数（${\lambda }_i\ge 0$）
负定矩阵	所有特征值均取负实数（${\lambda }_i<0$）
半负定矩阵	所有特征值均取非正实数（${\lambda }_i\le 0$）
不定矩阵	特征值既有正实数也有负实数

• Hadamard 不等式：若 $\mathbf{A}$ 为正定或半正定矩阵，则其行列式满足：
  $\det (\mathbf{A})\le {\prod }_i{A}_{ii}$

迹

定义

$n\times n$ 方阵 $\mathbf{A}$ 的对角元素之和称为 $\mathbf{A}$ 的迹，记作 $\mathrm{tr}(\mathbf{A})$：
$\mathrm{tr}(\mathbf{A})=a_{11}+a_{22}+\cdots +a_{nn}={\sum }_{i=1}^n{a}_{ii}$

迹的等式

• $\mathrm{tr}(c_1\mathbf{A}\pm c_2\mathbf{B})=c_1\mathrm{tr}(\mathbf{A})\pm c_2\mathrm{tr}(\mathbf{B})$
• $\mathrm{tr}({\mathbf{A}}^{\mathrm{T}})=\mathrm{tr}(\mathbf{A}),\mathrm{tr}({\mathbf{A}}^{\ast })=[\mathrm{tr}(\mathbf{A}){]}^{\ast },\mathrm{tr}({\mathbf{A}}^{\mathrm{H}})=[\mathrm{tr}(\mathbf{A}){]}^{\ast }$
• $\mathrm{tr}(\mathbf{AB})=\mathrm{tr}(\mathbf{BA})$
• 零矩阵充要条件(矩阵内积) $\mathrm{tr}({\mathbf{A}}^{\mathrm{H}}\mathbf{A})=0⟺\mathbf{A}={\mathbf{O}}_{m\times n}$
• 二次型表达：${\mathbf{x}}^{\mathrm{H}}\mathbf{Ax}=\mathrm{tr}(\mathbf{Ax}{\mathbf{x}}^{\mathrm{H}})$，以及 ${\mathbf{y}}^{\mathrm{H}}\mathbf{x}=\mathrm{tr}(\mathbf{x}{\mathbf{y}}^{\mathrm{H}})$
• 迹等于所有特征值之和$\mathrm{tr}(\mathbf{A})={\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n={\sum }_{i=1}^n{\lambda }_i$
• 对于任意正整数 $k$，有 $\mathrm{tr}({\mathbf{A}}^k)={\sum }_{i=1}^n{\lambda }_i^k$
• 分块矩阵：$\mathrm{tr}\left[\begin{array}{cc}\mathbf{A}& \mathbf{B}\\ \mathbf{C}& \mathbf{D}\end{array}\right]=\mathrm{tr}(\mathbf{A})+\mathrm{tr}(\mathbf{D})$
• 相似不变性（设 $\mathbf{B}$ 非奇异）：
  $\mathrm{tr}({\mathbf{BAB}}^{-1})=\mathrm{tr}({\mathbf{B}}^{-1}\mathbf{AB})=\mathrm{tr}(\mathbf{A})$
• 模长平方和（Frobenius 范数基础）
  $\mathrm{tr}({\mathbf{A}}^{\mathrm{H}}\mathbf{A})=\mathrm{tr}(\mathbf{A}{\mathbf{A}}^{\mathrm{H}})={\sum }_{i=1}^n{\sum }_{j=1}^n{a}_{ij}{a}_{ij}^{\ast }={\sum }_{i=1}^n{\sum }_{j=1}^n|a_{ij}|{}^2$
• 多矩阵乘积的循环置换 $\mathrm{tr}(\mathbf{ABC})=\mathrm{tr}(\mathbf{BCA})=\mathrm{tr}(\mathbf{CAB})$

迹的不等式

• 非负性：$\mathrm{tr}({\mathbf{A}}^{\mathrm{H}}\mathbf{A})=\mathrm{tr}(\mathbf{A}{\mathbf{A}}^{\mathrm{H}})\ge 0$
• Schur 不等式：$\mathrm{tr}({\mathbf{A}}^2)\le \mathrm{tr}({\mathbf{A}}^{\mathrm{T}}\mathbf{A})$
• Cauchy-Schwartz 不等式变体（$m\times n$ 矩阵 $\mathbf{A},\mathbf{B}$）：
  • $\mathrm{tr}[({\mathbf{A}}^{\mathrm{T}}\mathbf{B}{)}^2]\le \mathrm{tr}({\mathbf{A}}^{\mathrm{T}}\mathbf{A})\mathrm{tr}({\mathbf{B}}^{\mathrm{T}}\mathbf{B})$
  • $\mathrm{tr}[({\mathbf{A}}^{\mathrm{T}}\mathbf{B}{)}^2]\le \mathrm{tr}({\mathbf{A}}^{\mathrm{T}}\mathbf{A}{\mathbf{B}}^{\mathrm{T}}\mathbf{B})$
  • $\mathrm{tr}[({\mathbf{A}}^{\mathrm{T}}\mathbf{B}{)}^2]\le \mathrm{tr}(\mathbf{A}{\mathbf{A}}^{\mathrm{T}}\mathbf{B}{\mathbf{B}}^{\mathrm{T}})$
• 和的平方估计：$\mathrm{tr}[(\mathbf{A}+\mathbf{B})(\mathbf{A}+\mathbf{B}{)}^{\mathrm{T}}]\le 2[\mathrm{tr}(\mathbf{A}{\mathbf{A}}^{\mathrm{T}})+\mathrm{tr}(\mathbf{B}{\mathbf{B}}^{\mathrm{T}})]$
• 对称矩阵不等式（若 $\mathbf{A},\mathbf{B}$ 为 $m\times m$ 对称矩阵）：
  $\mathrm{tr}(\mathbf{AB})\le \frac{1}{2}\mathrm{tr}({\mathbf{A}}^2+{\mathbf{B}}^2)$

意义

$\mathrm{tr}(\mathbf{A})$ 描述线性变换在各个方向上的总体膨胀趋势，可以理解成瞬时体积膨胀率。
$\mathbf{A}$ 的每个 ${\lambda }_i$ 描述一个特征方向上的瞬时伸缩趋势，$\mathrm{tr}(\mathbf{A})$ 等于特征值之和，可以描述所有独立方向上的总膨胀率

行列式：有限变换后的体积缩放倍数
迹：无穷小变换下的瞬时体积变化率

秩

定义

• 定理

  • 在 $p$ 维向量的集合之中，最多存在 $p$ 个线性无关的向量
  • 矩阵 ${\mathbf{A}}_{m\times n}$ 的线性无关行数与线性无关列数相同

• 定义

  • 矩阵 ${\mathbf{A}}_{m\times n}$ 中线性无关的行或列的数目，记为 $\mathrm{rank}(\mathbf{A})$ 或 $r_{\mathbf{A}}$

• 空间与维数

  • 矩阵 ${\mathbf{A}}_{m\times n}$ 的列空间（A的值域） $\mathcal{R}(\mathbf{A})$（或 $\mathrm{Col}(\mathbf{A})$）的维数定义为该矩阵的秩，$r_{\mathbf{A}}=\dim [\mathcal{R}(\mathbf{A})]=\dim [\mathrm{Col}(\mathbf{A})]$

矩阵方程

矩阵方程 ${\mathbf{A}}_{m\times n}{\mathbf{x}}_{n\times 1}={\mathbf{b}}_{m\times 1}$ ，按秩与维数可分为三类：

类型	条件	含义与解的特性	一致性
适定方程	$m=n$ 且 $\mathrm{rank}(\mathbf{A})=n$ （$\mathbf{A}$ 非奇异）	独立方程数等于独立未知数个数；解是唯一的：$\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}$	一致方程
欠定方程	$m<n$，独立方程数 < 独立未知数个数	方程个数不足以唯一确定解；存在无穷多组解	一致方程
超定方程	$m>n$，独立方程数 > 独立未知数个数	方程个数过剩；通常没有精确解 $\mathbf{x}$	通常为非一致方程

秩的等价叙述

以下叙述相互等价

1. $\mathrm{rank}(\mathbf{A})=k$
2. 存在 $\mathbf{A}$ 的一个 $k\times k$ 子矩阵具有非零行列式，且 $\mathbf{A}$ 的所有 $(k+1)\times (k+1)$ 子矩阵都具有零行列式
3. 列空间 $\mathcal{R}(\mathbf{A})$ 的维数等于 $k$
4. $k=n-\dim [\mathrm{Null}(\mathbf{A})]$，其中 $\mathrm{Null}(\mathbf{A})$ 表示矩阵 $\mathbf{A}$ 的零空间

秩的性质

• 满秩：若 $n\times n$ 方阵 $\mathrm{rank}(\mathbf{A})=n$，称 $\mathbf{A}$ 非奇异或满秩。
• $\mathrm{rank}({\mathbf{A}}_{m\times n})<\min \{m,n\}$。
• 满行秩 / 满列秩
  • 行$\mathrm{rank}({\mathbf{A}}_{m\times n})=m<n$，任意矩阵右乘A不改变秩
    • $\mathbf{A}{\mathbf{A}}^H$ 可逆（$m\times m$）
  • 列$\mathrm{rank}({\mathbf{A}}_{m\times n})=n<m$，任意矩阵左乘A不改变秩
    • ${\mathbf{A}}^H\mathbf{A}$ 可逆（$n\times n$）
  • 满行列秩矩阵的秩
• $\mathrm{rank}({\mathbf{A}}^{\mathrm{H}})=\mathrm{rank}({\mathbf{A}}^{\mathrm{T}})=\mathrm{rank}({\mathbf{A}}^{\ast })=\mathrm{rank}(\mathbf{A})$
• $\mathrm{rank}(\mathbf{A}{\mathbf{A}}^{\mathrm{T}})=\mathrm{rank}({\mathbf{A}}^{\mathrm{T}}\mathbf{A})=\mathrm{rank}(\mathbf{A})$，$\mathrm{rank}(\mathbf{A}{\mathbf{A}}^{\mathrm{H}})=\mathrm{rank}({\mathbf{A}}^{\mathrm{H}}\mathbf{A})=\mathrm{rank}(\mathbf{A})$
• $c\ne 0$，则 $\mathrm{rank}(c\mathbf{A})=\mathrm{rank}(\mathbf{A})$
• 任何矩阵 $\mathbf{A}$ 左乘满列秩矩阵或右乘满行秩矩阵后，其秩保持不变
• $\mathbf{A},\mathbf{B}\in {\mathbb{C}}^{m\times n}$ 满足 $\mathrm{rank}(\mathbf{A})=\mathrm{rank}(\mathbf{B})⟺$ 存在非奇异矩阵 $\mathbf{X},\mathbf{Y}$ 使得 $\mathbf{B}=\mathbf{XAY}$
• 幂等矩阵特例：对于幂等矩阵 ${\mathbf{A}}^2=\mathbf{A}$，其秩等于迹：
  $\mathrm{rank}(\mathbf{A})=\mathrm{tr}(\mathbf{A})$
• 和的秩（三角不等式）：对于 $\mathbf{A},\mathbf{B}\in {\mathbb{C}}^{m\times n}$
  $\mathrm{rank}(\mathbf{A}+\mathbf{B})\le \mathrm{rank}[\mathbf{A},\mathbf{B}]\le \mathrm{rank}(\mathbf{A})+\mathrm{rank}(\mathbf{B})$
• 积的秩（Sylvester 不等式 & 极值估计）：设 $\mathbf{A}\in {\mathbb{C}}^{m\times k},\mathbf{B}\in {\mathbb{C}}^{k\times n}$：
  $\mathrm{rank}(\mathbf{A})+\mathrm{rank}(\mathbf{B})-k\le \mathrm{rank}(\mathbf{AB})\le \min \{\mathrm{rank}(\mathbf{A}),\mathrm{rank}(\mathbf{B})\}$