Kronecker 积（直积/张量积）

定义

设 $A \in R^{m \times n}$ ， $B \in R^{p \times q}$ 。右 Kronecker 积 $A \otimes B$ 是一个 $m p \times n q$ 矩阵：

A \otimes B = a_{11} B a_{21} B ⋮ a_{m 1} B a_{12} B a_{22} B ⋮ a_{m 2} B \dots \dots ⋱ \dots a_{1 n} B a_{2 n} B ⋮ a_{mn} B .

即用 $A$ 的每个元素去乘整个矩阵 $B$ 。

[A \otimes B]_{left} = A b_{11} A b_{21} ⋮ A b_{p 1} A b_{12} A b_{22} ⋮ A b_{p 2} \dots \dots ⋱ \dots A b_{1 q} A b_{2 q} ⋮ A b_{pq} .

注意：左 Kronecker 积等价于右 Kronecker 积的 $B \otimes A$ 。本书默认采用右 Kronecker 积定义。

当 $a \in R^{m}$ ， $b \in R^{p}$ 时：

a \otimes b = a_{1} b a_{2} b ⋮ a_{m} b \in R^{m p} .

向量的外积可用 Kronecker 积表示为：

x \circ y = x y^{H} = x \otimes y^{T} .

$I_{m} \otimes I_{n} = I_{mn} .$
$(AB) \otimes (CD) = (A \otimes C) (B \otimes D) .$
$(A \otimes B)^{H} = A^{H} \otimes B^{H} .$
$(A \otimes B)^{- 1} = A^{- 1} \otimes B^{- 1} (A, B 可逆),$
$(A \otimes B)^{†} = A^{†} \otimes B^{†} .$
$rank (A \otimes B) = rank (A) rank (B) .$
若 $A \in C^{m \times m}$ ， $B \in C^{n \times n}$ ，则：
$det (A \otimes B) = (det A)^{n} (det B)^{m} .$
$tr (A \otimes B) = tr (A) tr (B) .$
$(A + B) \otimes (C + D) = A \otimes C + A \otimes D + B \otimes C + B \otimes D .$
$(A \otimes B) \otimes C = A \otimes (B \otimes C) .$
$(A \otimes B) \otimes (C \otimes D) = A \otimes B \otimes C \otimes D .$
$(A \otimes B) (C \otimes D) (E \otimes F) = (ACE) \otimes (BDF) .$
$A \otimes D = (A \otimes I_{q}) (I_{p} \otimes D) .$
$exp (A \otimes B) = exp (A) \otimes exp (B) .$
设 $K_{p m}$ 为 $p m \times p m$ 置换矩阵(每行、每列恰好只有一个元素为 1，其余元素全为 0 的方阵)， $A \in C^{m \times n}$ ， $B \in C^{p \times q}$ ， $b \in C^{p}$ ，则：
$K_{p m} (A \otimes B) = (B \otimes A) K_{q n},$
$K_{p m} (A \otimes B) K_{n q} = B \otimes A,$
$K_{p m} (A \otimes b) = b \otimes A,$
$K_{p m} (b \otimes A) = A \otimes b .$
结构规律：式中 $I_{p} \otimes D$ 为块对角矩阵，而 $A \otimes I_{q}$ 为稀疏矩阵

广义 Kronecker 积是矩阵组与另一个矩阵（或矩阵组）之间的运算，其结果依然保持矩阵组（或矩阵）的结构。

给定 $N$ 个 $m \times r$ 矩阵 $A_{i}$ ( $i = 1, \dots, N$ ) 组成的矩阵组 ${A}_{N}$ ，以及一个 $N \times l$ 矩阵 $B$ 。矩阵组 ${A}_{N}$ 与矩阵 $B$ 的广义 Kronecker 积定义为：

{A}_{N} \otimes B = A_{1} \otimes b_{1} ⋮ A_{N} \otimes b_{N}

其中， $b_{i}$ 是矩阵 $B$ 的第 $i$ 个行向量。

两个具有相同列数的矩阵 $G \in R^{p \times n}$ 和 $F \in R^{q \times n}$ 的 Khatri-Rao 积记为 $F ⊙ G$

F ⊙ G = [f_{1} \otimes g_{1}, f_{2} \otimes g_{2}, \dots, f_{n} \otimes g_{n}] \in R^{pq \times n}

它由两个矩阵的对应列向量的 Kronecker 积排列而成。因此，Khatri-Rao 积又叫对应列 Kronecker 积

更一般地，若 $A = [A_{1}, \dots, A_{u}]$ 和 $B = [B_{1}, \dots, B_{u}]$ 是两个分块矩阵，且分块矩阵 $A_{i}$ 和 $B_{i}$ 具有相同的列数，则：

A ⊙ B = [A_{1} \otimes B_{1}, A_{2} \otimes B_{2}, \dots, A_{u} \otimes B_{u}]

(1) Khatri-Rao 积本身的基本性质

(2) Khatri-Rao 积与 Hadamard 积的关系

(A ⊙ B)^{T} (C ⊙ D) = (A^{T} C) * (B^{T} D)

(A ⊙ B)^{T} (A ⊙ B) = (A^{T} A) * (B^{T} B)

(A ⊙ B)^{†} = [(A^{T} A) * (B^{T} B)]^{†} (A ⊙ B)^{T}

推广有 $(A ⊙ B ⊙ C)^{T} (A ⊙ B ⊙ C) = (A^{T} A) * (B^{T} B) * (C^{T} C)$ 和 $(A ⊙ B ⊙ C)^{†} = [(A^{T} A) * (B^{T} B) * (C^{T} C)]^{†} (A ⊙ B ⊙ C)^{T}$ 。

(3) Khatri-Rao 积与 Kronecker 积的关系

(A \otimes B) (F ⊙ G) = A F ⊙ B G