1.9-矩阵的直和与 Hadamard 积

直和

定义

${\mathbf{A}}_{m\times m}$ 和 ${\mathbf{B}}_{n\times n}$ 的直和记为 $\mathbf{A}\oplus \mathbf{B}$

$$\mathbf{A}\oplus \mathbf{B}=\left[\begin{array}{cc}\mathbf{A}& {\mathbf{O}}_{m\times n}\\ {\mathbf{O}}_{n\times m}& \mathbf{B}\end{array}\right]\in {\mathbb{C}}^{(m+n)\times (m+n)}.$$

性质

• 若 $\mathbf{A},\mathbf{B}$ 为 $m\times m$，$\mathbf{C},\mathbf{D}$ 为 $n\times n$，则

$$(\mathbf{A}\oplus \mathbf{B})\oplus (\mathbf{C}\pm \mathbf{D})=(\mathbf{A}\oplus \mathbf{C})\pm (\mathbf{B}\oplus \mathbf{D}),$$ $$(\mathbf{A}\oplus \mathbf{C})(\mathbf{B}\oplus \mathbf{D})=\mathbf{AB}\oplus \mathbf{CD}.$$

• 若 $\mathbf{A},\mathbf{B},\mathbf{C}$ 分别为 $m\times m,n\times n,p\times p$，则

$$\mathbf{A}\oplus (\mathbf{B}\oplus \mathbf{C})=(\mathbf{A}\oplus \mathbf{B})\oplus \mathbf{C}=\mathbf{A}\oplus \mathbf{B}\oplus \mathbf{C}.$$

• 若 ${\mathbf{A}}_{m\times m}$ 和 ${\mathbf{B}}_{n\times n}$ 均为正交矩阵，则 $\mathbf{A}\oplus \mathbf{B}$ 为 $(m+n)\times (m+n)$ 正交矩阵。
• 复共轭、转置、共轭转置与逆

$$(\mathbf{A}\oplus \mathbf{B}{)}^{\ast }={\mathbf{A}}^{\ast }\oplus {\mathbf{B}}^{\ast },$$ $$(\mathbf{A}\oplus \mathbf{B}{)}^T={\mathbf{A}}^T\oplus {\mathbf{B}}^T,$$ $$(\mathbf{A}\oplus \mathbf{B}{)}^H={\mathbf{A}}^H\oplus {\mathbf{B}}^H,$$ $$(\mathbf{A}\oplus \mathbf{B}{)}^{-1}={\mathbf{A}}^{-1}\oplus {\mathbf{B}}^{-1}(\text{若 }\mathbf{A},\mathbf{B}\text{ 可逆}).$$

• 迹、秩、行列式

$$\mathrm{tr}\left(\underset{i=0}{\overset{N-1}{⨁}}{\mathbf{A}}_i\right)=\sum _{i=0}^{N-1}\mathrm{tr}({\mathbf{A}}_i),$$ $$\mathrm{rank}\left(\underset{i=0}{\overset{N-1}{⨁}}{\mathbf{A}}_i\right)=\sum _{i=0}^{N-1}\mathrm{rank}({\mathbf{A}}_i),$$ $$\det \left(\underset{i=0}{\overset{N-1}{⨁}}{\mathbf{A}}_i\right)=\prod _{i=0}^{N-1}\det ({\mathbf{A}}_i).$$

Hadamard 积

定义

$\mathbf{A}$ 与 $\mathbf{B}$ 均为 $m\times n$ 矩阵，其 Hadamard 积记为 $\mathbf{A}\ast \mathbf{B}$

$$(\mathbf{A}\ast \mathbf{B}{)}_{ij}=a_{ij}{b}_{ij}.$$

即两个矩阵对应元素相乘，结果仍为 $m\times n$ 矩阵。

Hadamard 积相关定理

• 若 $\mathbf{A},\mathbf{B}$ 为 $m\times m$ 正定（或半正定）矩阵，则它们的 Hadamard 积 $\mathbf{A}\ast \mathbf{B}$ 也是正定（或半正定）的。

• (推论)(Fejér 定理) $m\times m$ 矩阵 $\mathbf{A}$ 是半正定矩阵，当且仅当
  ${\sum }_{i=1}^m{\sum }_{j=1}^m{a}_{ij}{b}_{ij}\ge 0$对所有 $m\times m$ 半正定矩阵 $\mathbf{B}$ 成立。

• 设 $\mathbf{A},\mathbf{B},\mathbf{C}$ 为 $m\times n$ 矩阵，$1=[1,1,\cdots ,1{]}^T$ 为 $n\times 1$ 求和向量，$\mathbf{D}=\mathrm{diag}(d_1,\dots ,d_m)$，其中 $d_i={\sum }_{j=1}^n{a}_{ij}$，则：

$$\mathrm{tr}\left({\mathbf{A}}^T(\mathbf{B}\ast \mathbf{C})\right)=\mathrm{tr}\left(({\mathbf{A}}^T\ast {\mathbf{B}}^T)\mathbf{C}\right),$$ $$1^T{\mathbf{A}}^T(\mathbf{B}\ast \mathbf{C})1=\mathrm{tr}({\mathbf{B}}^T\mathbf{DC}).$$

• 设 $\mathbf{A},\mathbf{B}$ 为 $n\times n$ 方阵，$1=[1,\cdots ,1{]}^T$ 为 $n\times 1$ 求和向量。设 $\mathbf{M}=\mathrm{diag}({\mu }_1,\dots ,{\mu }_n)$ 为对角矩阵，$\mathbf{m}=M1$，则：

$$\mathrm{tr}(\mathbf{AM}{\mathbf{B}}^T\mathbf{M})={\mathbf{m}}^T(\mathbf{A}\ast \mathbf{B})\mathbf{m},$$ $$\mathrm{tr}(\mathbf{A}{\mathbf{B}}^T)=1^T(\mathbf{A}\ast \mathbf{B})1,$$ $$\mathbf{MA}\ast {\mathbf{B}}^T\mathbf{M}=\mathbf{M}(\mathbf{A}\ast {\mathbf{B}}^T)\mathbf{M}.$$

性质

• Hadamard 积满足交换律、结合律和分配律
• $(\mathbf{A}\ast \mathbf{B}{)}^T={\mathbf{A}}^T\ast {\mathbf{B}}^T,(\mathbf{A}\ast \mathbf{B}{)}^H={\mathbf{A}}^H\ast {\mathbf{B}}^H,(\mathbf{A}\ast \mathbf{B}{)}^{\ast }={\mathbf{A}}^{\ast }\ast {\mathbf{B}}^{\ast }$
• 正定（或半正定）矩阵的 Hadamard 积仍正定（或半正定）
• 若 $\mathbf{D}$ 为对角矩阵，则$(\mathbf{DA})\ast (\mathbf{BD})=\mathbf{D}(\mathbf{A}\ast \mathbf{B})\mathbf{D}.$
• 若 $\mathbf{A},\mathbf{C}$ 为 $m\times m$，$\mathbf{B},\mathbf{D}$ 为 $n\times n$，则 $$(\mathbf{A}\oplus \mathbf{B})\ast (\mathbf{C}\oplus \mathbf{D})=(\mathbf{A}\ast \mathbf{C})\oplus (\mathbf{B}\ast \mathbf{D}).$$
  \operatorname{tr}\left( \mathbf{A}^T (\mathbf{B} * \mathbf{C}) \right)
  = \operatorname{tr}\left( (\mathbf{A}^T * \mathbf{B}^T) \mathbf{C} \right).

重要不等式

Oppenheim 不等式

若 $\mathbf{A},\mathbf{B}$ 为 $n\times n$ 半正定矩阵，则

$$|\mathbf{A}\ast \mathbf{B}|\ge a_{11}\cdots a_{nn}|\mathbf{B}|.$$

行列式不等式

若 $\mathbf{A},\mathbf{B}$ 为 $n\times n$ 半正定矩阵，则

$$|\mathbf{A}\ast \mathbf{B}|\ge |\mathbf{AB}|.$$

特征值不等式

若 $\mathbf{A},\mathbf{B}$ 为 $n\times n$ 半正定矩阵，${\lambda }_1,\dots ,{\lambda }_n$ 为 $\mathbf{A}\ast \mathbf{B}$ 的特征值，${\hat{\lambda }}_1,\dots ,{\hat{\lambda }}_n$ 为 $\mathbf{AB}$ 的特征值，则

$$\prod _{i=k}^n{\lambda }_i\ge \prod _{i=k}^n{\hat{\lambda }}_i,k=1,\dots ,n.$$

秩不等式

若 $\mathbf{A},\mathbf{B}$ 为 $n\times n$ 矩阵，则

$$\mathrm{rank}(\mathbf{A}\ast \mathbf{B})\le \mathrm{rank}(\mathbf{A})\mathrm{rank}(\mathbf{B}).$$

Hadamard 不等式（Oppenheim 不等式的特例）

令 $\mathbf{B}={\mathbf{I}}_n$，且 $\mathbf{A}$ 为 $n\times n$ 半正定矩阵，则 Oppenheim 不等式给出：

$$|\mathbf{A}|\le a_{11}\cdots a_{nn}.$$

即半正定矩阵的行列式不超过其对角元之积

应用

• Hadamard 积在有损压缩算法（如 JPEG）中有所应用
• 在 MATLAB 和 Mathematica 中，两个数组（array）的逐元素乘法对应 Hadamard 积