1.11-向量化与矩阵化

矩阵的向量化与向量的矩阵化

向量化

向量化 $\text{vec}(A)$ 是线性变换，将矩阵元素按列堆栈排列成一个 $mn\times 1$ 向量

$$\text{vec}(A)=[a_{11},\cdots ,a_{m1},\cdots ,a_{1n},\cdots ,a_{mn}{]}^{\text{T}}$$

也可以按行堆栈为行向量，称为矩阵的行向量化，用符号 $\text{rvec}(A)$ 表示，定义为

$$\text{rvec}(A)=[a_{11},\cdots ,a_{1n},\cdots ,a_{m1},\cdots ,a_{mn}]$$

矩阵的向量化结果为列向量，行向量化结果为行向量

$$\text{rvec}(A)=(\text{vec}(A^{\text{T}}){)}^{\text{T}},\text{vec}(A^{\text{T}})=(\text{rvec}(A){)}^{\text{T}}$$

交换矩阵

定义

交换矩阵是一个可以把矩阵的向量化 $\text{vec}(A)$ 变换为其转置矩阵的向量化 $\text{vec}(A^{\text{T}})$ 的置换矩阵(每行每列只有一个 1 元素)。记作 $K_{mn}$

$$K_{mn}\text{vec}(A)=\text{vec}(A^{\text{T}})$$

类似地，可以将转置矩阵的向量化 $\text{vec}(A^{\text{T}})$ 变换为原矩阵的向量化 $\text{vec}(A)$ 的交换矩阵记作 $K_{nm}$

$$K_{nm}\text{vec}(A^{\text{T}})=\text{vec}(A)$$

易知 $K_{nm}{K}_{mn}\text{vec}(A)=K_{nm}\text{vec}(A^{\text{T}})=\text{vec}(A)$； $K_{nm}{K}_{mn}=I_{mn}$，即 $K_{mn}^{-1}=K_{nm}$。

性质

• $K_{mn}^{\text{T}}{K}_{mn}=K_{mn}{K}_{mn}^{\text{T}}=I_{mn}$ 或 $K_{mn}^{-1}=K_{nm}$。
• $K_{mn}^{\text{T}}=K_{nm}$。
• $K_{mn}$ 可以表示为基本向量的 Kronecker 积：

$$K_{mn}=\sum _{j=1}^n(e_j^{\text{T}}\otimes I_m\otimes e_j)$$

• $K_{1n}=K_{n1}=I_n$。
• 交换矩阵的秩 $\text{rank}(K_{mn})=1+d(m-1,n-1)$，其中 $d(m,n)$ 是 $m$ 和 $n$ 之间的最大公约数
• 交换矩阵 $K_{mn}$ 的特征值取 1 和 -1，它们的多重度分别为 $\frac{1}{2}n(n+1)$ 和 $\frac{1}{2}n(n-1)$。
• $K_{mn}(A\otimes B)K_{pq}=B\otimes A$，或等价写作$K_{mn}(A\otimes B)=(B\otimes A)K_{qp}$，其中 $A$ 是 $n\times p$ 矩阵，$B$ 为 $m\times q$ 矩阵。特别地，$K_{mn}(A_{m\times n}\otimes B_{m\times n})=(B\otimes A)K_{mn}$。
• $\text{tr}(K_{mn}(A_{m\times n}\otimes B_{m\times n}))=\text{tr}(A^{\text{T}}B)=(\text{vec}(A^{\text{T}}){)}^{\text{T}}{K}_{mn}(\text{vec}(A))$

构造方法

1. 每一行只赋一个元素 1，其他元素全部为 0
2. 第 1 行第 1 个元素为 1，然后这个 1 元素右移 $m$ 位，变成第 2 行该位置的 1 元素
3. 第 2 行该位置的 1 元素再右移 $m$ 位，又变成第 3 行该位置的 1 元素
4. 依此类推，找到下一行 1 元素的位置。但是，如果向右移位时超过第 $mn$ 列，则应该转到下一行继续移位，并且多移 1 位，再在此位置赋 1

• 交换矩阵 $K_{mn}$ 和 $K_{nm}$ 是唯一确定的

矩阵化

$mn\times 1$ 向量 $\mathbf{a}=[a_1,\cdots ,a_{mn}{]}^{\text{T}}$ 转换为一个 $m\times n$ 矩阵 $A$ 的运算称为矩阵化，用符号 ${\text{unvec}}_{m,n}(\mathbf{a})$ 表示，定义为

$$A_{m\times n}={\text{unvec}}_{m,n}(\mathbf{a})=\left[\begin{array}{cccc}{a}_1& a_{m+1}& \cdots & a_{m(n-1)+1}\\ a_2& a_{m+2}& \cdots & a_{m(n-1)+2}\\ ⋮& ⋮& \ddots & ⋮\\ a_m& a_{2m}& \cdots & a_{mn}\end{array}\right]\text{\hspace{1em}(1.11.6)}$$

矩阵 $A$ 第 $(i,j)$ 元素 $A_{ij}$ 与向量 $\mathbf{a}$ 的第 $k$ 个元素 $a_k$ 存在转换公式 $A_{ij}=a_{i+(j-1)m},i=1,\cdots ,m;j=1,\cdots ,n$

类似地，行向量的矩阵化，记作 ${\text{unrvec}}_{m,n}(\mathbf{b})$，定义为

$$B_{m\times n}={\text{unrvec}}_{m,n}(\mathbf{b})=\left[\begin{array}{cccc}{b}_1& b_2& \cdots & b_n\\ b_{n+1}& b_{n+2}& \cdots & b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ b_{(m-1)n+1}& b_{(m-1)n+2}& \cdots & b_{mn}\end{array}\right]$$

矩阵 $B$ 的元素 $B_{ij}$ 与行向量 $\mathbf{b}$ 的元素 $b_k$ 存在关系$B_{ij}=b_{j+(i-1)n},i=1,\cdots ,m;j=1,\cdots ,n$

按照定义，矩阵化和向量化之间存在以下关系：

$${\text{unvec}}_{m,n}(\mathbf{a})=A_{m\times n}⟺\text{vec}(A_{m\times n})={\mathbf{a}}_{mn\times 1}$$ $${\text{unrvec}}_{m,n}(\mathbf{b})=B_{m\times n}⟺\text{rvec}(B_{m\times n})={\mathbf{b}}_{1\times mn}$$

向量化算子的性质

• 转置矩阵的向量化：$\text{vec}(A^{\text{T}})=K_{mn}\text{vec}(A)$，其中 $A\in {\mathbb{C}}^{m\times n}$
• 矩阵之和的向量化：$\text{vec}(A+B)=\text{vec}(A)+\text{vec}(B)$
• 矩阵乘积的迹：

$$\text{tr}(A^{\text{T}}B)=(\text{vec}(A){)}^{\text{T}}\text{vec}(B)$$ $$\text{tr}(A^{\text{H}}B)=(\text{vec}(A){)}^{\text{H}}\text{vec}(B)$$ $$\text{tr}(ABC)=(\text{vec}(A){)}^{\text{T}}(I_p\otimes B)\text{vec}(C)$$

• 四个矩阵乘积的迹为

$$\text{tr}(ABCD)=(\text{vec}(D^{\text{T}}){)}^{\text{T}}(C^{\text{T}}\otimes A)\text{vec}(B)=(\text{vec}(D){)}^{\text{T}}(A\otimes C^{\text{T}})\text{vec}(B^{\text{T}})$$

• $m\times n$ 矩阵 $A$ 和 $B$ 的 Hadamard 积的向量化函数：

$$\text{vec}(A\ast B)=\text{vec}(A)\ast \text{vec}(B)=\text{diag}(\text{vec}(A))\text{vec}(B)\text{\hspace{1em}(1.11.15)}$$

式中 $\text{diag}(\text{vec}(A))$ 表示向量化函数 $\text{vec}(A)$ 各元素为对角元素的对角矩阵。

• 两个向量的 Kronecker 积可以表示成向量外积的向量化：

$$\mathbf{a}\otimes \mathbf{b}=\text{vec}(\mathbf{b}{\mathbf{a}}^{\text{T}})=\text{vec}(\mathbf{b}\circ \mathbf{a})$$

• 向量化函数与 Khatri-Rao 积的关系

$$\text{vec}(U_{m\times p}{V}_{p\times p}{W}_{p\times n})=(W^{\text{T}}\odot U)d(V)$$

式中，$d(V)=[v_{11},\cdots ,v_{pp}{]}^{\text{T}}$ 是由矩阵 $V$ 的对角元素组成的列向量。

• 矩阵 $A_{m\times p}{B}_{p\times q}{C}_{q\times n}$ 乘积的向量化与 Kronecker 积的关系：

$$\text{vec}(ABC)=(C^{\text{T}}\otimes A)\text{vec}(B)$$ $$\text{vec}(ABC)=(I_q\otimes AB)\text{vec}(C)=(C^{\text{T}}{B}^{\text{T}}\otimes I_m)\text{vec}(A)$$ $$\text{vec}(AC)=(I_p\otimes A)\text{vec}(C)=(C^{\text{T}}\otimes I_m)\text{vec}(A)$$

• Kronecker 积的向量化：令 $X\in {\mathbb{R}}^{p\times m}$ 和 $Y\in {\mathbb{R}}^{n\times q}$，则：

$$\text{vec}(X\otimes Y)=(I_m\otimes K_{qp}\otimes I_n)(\text{vec}X\otimes \text{vec}Y)$$

应用（求解矩阵方程）

求解矩阵方程$AXB=C$，$\mathbf{A}\in {\mathbb{R}}^{m\times n}$,$\mathbf{X}\in {\mathbb{R}}^{n\times p}$,$\mathbf{B}\in {\mathbb{R}}^{p\times q}$：

矩阵方程 $AXB=C$ 利用向量化函数的性质 $\text{vec}(AXB)=(B^{\text{T}}\otimes A)\text{vec}(X)$，原矩阵方程的向量化 $\text{vec}(AXB)=\text{vec}(C)$ 可以用 Kronecker 积改写为 $(B^{\text{T}}\otimes A)\text{vec}(X)=\text{vec}(C)$，由此得 $\text{vec}(X)=(B^{\text{T}}\otimes A{)}^{†}\text{vec}(C)$。然后，将 $\text{vec}(X)$ 矩阵化，即可获得原矩阵方程 $AXB=C$ 的解矩阵 $X$。

求解矩阵方程 $AX+XB=Y$，所有矩阵的维数均为 $n\times n$：

利用向量化算子的性质 $\text{vec}(ADB)=(B^{\text{T}}\otimes A)\text{vec}(D)$，有$(I_n\otimes A+B^{\text{T}}\otimes I_n)\text{vec}(X)=\text{vec}(Y)$。由此得$\text{vec}(X)=(I_n\otimes A+B^{\text{T}}\otimes I_n{)}^{†}\text{vec}(Y)$。然后，将 $\text{vec}(X)$ 矩阵化，即可得到矩阵方程 $AX+XB=Y$ 的解 $X$。