1.4-内积与范数

向量的内积与范数

向量内积内积

• 典范内积
  $⟨\mathbf{x},\mathbf{y}⟩={\mathbf{x}}^H\mathbf{y}={\sum }_{i=1}^n{x}_i^{\ast }{y}_i$

  • 表示一个向量在另一个向量方向上的投影
  • 对离散信号，内积还可表示两个信号的相关程度

• 加权内积（正定 Hermitian 矩阵 $G$）
  $⟨\mathbf{x},\mathbf{y}⟩={\mathbf{x}}^{H}G\mathbf{y}$

  • $G$ 用来体现不同方向、不同传感器或不同单位的权重。当某些测量噪声更大时，可降低这些方向对“相似程度”或“能量”的影响。

• 在区间 $[a,b]$ 上平方可积函数的内积（通常是无穷维）
  $⟨x,y⟩={\int }_a^b{x}^{\ast }(t)y(t)dt$

  • 对连续时间信号，该积分是整个时间区间内的相关量

向量的范数

内积诱导的范数具有以下性质：

• 正定性：$\Vert x\Vert \ge 0$，且 $\Vert x\Vert =0⟺x=0$
• 齐次性：$\Vert cx\Vert =|c|\Vert x\Vert$
• 三角不等式：$\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$
• Cauchy–Schwarz 不等式：
  $|⟨x,y⟩|\le \Vert x\Vert \Vert y\Vert$
  当且仅当 $x,y$ 线性相关时取等号。
• 平行四边形法则 ：
  $\Vert x+y{\Vert }^2+\Vert x-y{\Vert }^2=2\Vert x{\Vert }^2+2\Vert y{\Vert }^2$
• 极化恒等式：
  • 从范数反推内积。
  • 实内积空间：$⟨x,y⟩=\frac{1}{4}(\Vert x+y{\Vert }^2-\Vert x-y{\Vert }^2)$。
  • 复内积空间：$⟨x,y⟩=\frac{1}{4}(\Vert x+y{\Vert }^2-\Vert x-y{\Vert }^2-j\Vert x+jy{\Vert }^2+j\Vert x-jy{\Vert }^2)$

常数向量的范数

对于常数向量 $\mathbf{x}=[x_1,x_2,\dots ,x_n{]}^T$：

• $L_0$：表示非零元素的个数，是稀疏性度量，不是真正的范数
  $\Vert \mathbf{x}{\Vert }_0=\#\{i\mid x_i\ne 0\}$

• $L_1$ 范数：各元素绝对值之和
  $\Vert \mathbf{x}{\Vert }_1={\sum }_{i=1}^n|x_i|$

• $L_2$ 范数（Euclidean 范数）
  $\Vert \mathbf{x}{\Vert }_2=\sqrt{{\sum }_{i=1}^n|x_i{|}^2}$

• $L_{\infty }$ 范数：元素绝对值的最大值
  $\Vert \mathbf{x}{\Vert }_{\infty }={\max }_i|x_i|$

• 当 $p\ge 1$ 时，$L_p$ 范数为
  $\Vert \mathbf{x}{\Vert }_p={\left({\sum }_{i=1}^n|x_i{|}^p\right)}^{1/p}$

• 物理意义：若各分量是同类传感器的读数

  • $L_0$ 表示被激活的传感器数
  • $L_1$ 反映总绝对幅值
  • $L_2^2$ 与离散信号能量或均方量成正比
  • $L_{\infty }$ 表示最大峰值

• Euclidean 范数是酉不变的：对酉矩阵 $U$，$\Vert U\mathbf{x}{\Vert }_2=\Vert \mathbf{x}{\Vert }_2$(只改变方向，不改变长度)

函数向量的内积与范数

平方可积函数构成无穷维的 $L_2[a,b]$ 函数空间

• 内积：
  $⟨x,y⟩={\int }_a^b{x}^{\ast }(t)y(t)dt$

  • 内积常用于相关检测和匹配滤波。

• 范数与能量：
  $\Vert x{\Vert }_2=\sqrt{{\int }_a^b|x(t){|}^{2}dt},E_x=\Vert x{\Vert }_2^2$

  • 在适当归一化下，$\int |x(t){|}^{2}dt$ 表示信号能量。

• 实函数的夹角（$x,y\ne 0$）：
  $\cos \theta =\frac{⟨x,y⟩}{\Vert x{\Vert }_2\Vert y{\Vert }_2}$

随机向量的内积与范数

设 $\mathbf{x}(\xi )$ 和 $\mathbf{y}(\xi )$ 是样本变量 $\xi$ 的随机向量。

• 内积：
  $⟨\mathbf{x}(\xi ),\mathbf{y}(\xi )⟩\stackrel{\mathrm{def}}{=}\mathrm{E}\{{\mathbf{x}}^{\mathrm{H}}(\xi )\mathbf{y}(\xi )\}$

• 范数的平方：
  $\Vert \mathbf{x}(\xi )\Vert {}^2\stackrel{\mathrm{def}}{=}\mathrm{E}\{{\mathbf{x}}^{\mathrm{H}}(\xi )\mathbf{x}(\xi )\}$

• 正交的充要条件是标量内积为零：
  $\mathbf{x}\perp \mathbf{y}⟺\mathrm{E}\{{\mathbf{x}}^{\mathrm{H}}(\xi )\mathbf{y}(\xi )\}=0$

  • $\mathrm{E}\{\mathbf{x}(\xi ){\mathbf{y}}^{\mathrm{H}}(\xi )\}=\mathbf{O}$ 表示互相关矩阵为零，是更强的统计条件，不能与向量正交混同。
  • 正交表示平均相关为零，但不等于两个随机信号相互独立。

正交向量小结

• Pythagorean 定理：若向量 $x,y$ 正交，则有
  $\Vert \mathbf{x}+\mathbf{y}\Vert {}^2=\Vert \mathbf{x}\Vert {}^2+\Vert \mathbf{y}\Vert {}^2$
• 意义
  • 几何：夹角九十度，投影为0
  • 直观理解：在该内积下，两者互不含有彼此的投影成分。
  • 物理例子：交流电路中不同频率的正弦、余弦基函数在完整周期上正交，因此总信号能量可分解为各频率分量能量之和。

向量的相似比较

基本概念

• 聚类与分类
  • 聚类：将一给定的大数据集聚为几个小的具有共同或者相似的特征的子数据集
  • 分类：将一个或者多个未知类属的数据或特征向量划分到具有最接近特征的某个已知目标类别中。
• 模式向量 / 特征向量
  • 在模式识别中，原始数据向量通过某种变换或处理方法变成低维向量。可用于模式的聚类和分类，称为模式向量或特征向量

相异度与近邻分类

• 相异度：向量之间的相似度常采用相异度进行反向度量，相异度越小的两个向量之间越相似

• 近邻分类法：找到使相异度最小的已知模式向量 ${\mathbf{s}}_i$，则将未知模式向量 $\mathbf{x}$ 归为 ${\mathbf{s}}_{i^{\ast }}$ 所属的模式类型

常用的相异度或相似度

以下距离和余弦相似度针对实向量；复向量需使用共轭内积并另行定义角度。

Euclidean 距离

$D_{\text{E}}(\mathbf{x},{\mathbf{s}}_i)=\Vert \mathbf{x}-{\mathbf{s}}_i{\Vert }_2=\sqrt{(\mathbf{x}-{\mathbf{s}}_i{)}^{\mathsf{T}}(\mathbf{x}-{\mathbf{s}}_i)}$

Mahalanobis 距离

• 两个向量 $\mathbf{x}\in {\mathbb{R}}^n$ 和 $\mathbf{y}\in {\mathbb{R}}^n$ 之间的马氏距离：

$D_{\text{M}}(\mathbf{x},\mathbf{y})=\sqrt{(\mathbf{x}-\mathbf{y}{)}^{\mathsf{T}}{\mathbf{C}}^{-1}(\mathbf{x}-\mathbf{y})}$

其中 $\boldsymbol{C}$ 是由总体或训练样本估计得到的公共协方差矩阵，通常要求正定且可逆。
若协方差矩阵为单位矩阵（$\boldsymbol{C} = \boldsymbol{I}$），退化为欧式距离

夹角余弦

$D(\mathbf{x},{\mathbf{s}}_i)=\cos ({\theta }_i)=\frac{{\mathbf{x}}^{\mathsf{T}}{\mathbf{s}}_i}{\Vert \mathbf{x}{\Vert }_2\Vert {\mathbf{s}}_i{\Vert }_2}$
(主要考虑方向的差异）

Tanimoto 测度 (谷本测度)

为夹角余弦公式的变型，常用于非负特征向量。
$S_{\mathrm{Tan}}(\mathbf{x},{\mathbf{s}}_i)=\frac{{\mathbf{x}}^{\mathsf{T}}{\mathbf{s}}_i}{{\mathbf{x}}^{\mathsf{T}}\mathbf{x}+{\mathbf{s}}_i^{\mathsf{T}}{\mathbf{s}}_i-{\mathbf{x}}^{\mathsf{T}}{\mathbf{s}}_i}$
（在夹角余弦的基础上多考虑了长度关系）

矩阵的内积与范数

矩阵的向量化（拉长）

定义在复数域空间 ${\mathbb{C}}^{m\times n}$ 上，通过矩阵的向量化将矩阵拉长为向量：

• 对于矩阵 $A=[a_1,\dots ,a_n]$ 和 $B=[b_1,\dots ,b_n]$，其(列)向量化表示为
  $a=\text{vec}(A)=\left[\begin{array}{c}{a}_1\\ ⋮\\ a_n\end{array}\right],b=\text{vec}(B)=\left[\begin{array}{c}{b}_1\\ ⋮\\ b_n\end{array}\right]$

矩阵的内积

• 定义(把矩阵当成更高维空间里的向量，然后做内积)
  $⟨A,B⟩=⟨\text{vec}(A),\text{vec}(B)⟩={\sum }_{i=1}^n{a}_i^{\text{H}}{b}_i={\sum }_{i=1}^n⟨a_i,b_i⟩$

• 迹表示法(常用等价形式)：
  $⟨A,B⟩=\text{vec}(A{)}^{\text{H}}\text{vec}(B)=\text{tr}(A^{\text{H}}B)={\Sigma }_{i,j}{a}_{ij}{b}_{ij}$

• 物理意义：所有对应元素相关量的总和；例如两幅图像、两个场分布或两个系统参数矩阵的内积，可表示整体重合或相关程度。

矩阵范数

诱导范数

由向量范数诱导出的矩阵（算子）范数，定义为：
$\Vert A{\Vert }_p={\max }_{\Vert \mathbf{x}{\Vert }_p=1}\Vert A\mathbf{x}{\Vert }_p={\max }_{\mathbf{x}\ne 0}\frac{\Vert A\mathbf{x}{\Vert }_p}{\Vert \mathbf{x}{\Vert }_p}$

常用的 $p$-诱导范数：

• $L_1$ 范数（绝对列和范数）(列元素和的最大值)
  $\Vert A{\Vert }_{1,\mathrm{ind}}={\max }_{1\le j\le n}{\sum }_{i=1}^m|a_{ij}|$

• $L_2$ 范数(谱范数)(A放大向量长度的最大倍数/最大奇异值)
  $\Vert A{\Vert }_{2,\mathrm{ind}}=\Vert A{\Vert }_2={\sigma }_{\max }(A)$

• $L_{\infty }$ 范数（绝对行和范数）(行元素和的最大值)
  $\Vert A{\Vert }_{\infty ,\mathrm{ind}}={\max }_{1\le i\le m}{\sum }_{j=1}^n|a_{ij}|$

意义：矩阵把输入变成输出时的最大放大倍数。它常用于评估系统增益、误差放大和数值稳定性。

元素形式范数

将矩阵元素展平，采用向量范数定义元素形式范数（$p\ge 1$）：
$\Vert A{\Vert }_{p,\mathrm{entry}}={\left({\sum }_{i=1}^m{\sum }_{j=1}^n|a_{ij}{|}^p\right)}^{1/p}$

• 元素形式 $L_1$ 范数(绝对值之和)
  $\Vert A{\Vert }_{1,\mathrm{entry}}={\sum }_{i=1}^m{\sum }_{j=1}^n|a_{ij}|$

• Frobenius 范数($L_2$)
  $\Vert A{\Vert }_{\mathrm{F}}={\left({\sum }_{i=1}^m{\sum }_{j=1}^n|a_{ij}{|}^2\right)}^{1/2}=\sqrt{⟨A,A⟩}=\sqrt{\mathrm{tr}(A^{\mathrm{H}}A)}$

  • 加权 Frobenius 范数（$\Omega \in {\mathbb{C}}^{m\times m}$ 为 Hermitian 正定矩阵）：
    $\Vert A{\Vert }_{\Omega }=\sqrt{\mathrm{tr}(A^{\mathrm{H}}\Omega A)}$

• 意义：Frobenius 范数反映矩阵全部元素的总体幅值，常用来表示图像或场的总能量、系统参数总量以及模型误差大小；加权形式可突出更重要的空间位置或测量通道。

• 最大范数
  $\Vert A{\Vert }_{\infty ,\mathrm{entry}}={\max }_{i,j}|a_{ij}|$

矩阵内积与 Frobenius 范数的性质

对于同型矩阵 $A,B$，以下性质针对 Frobenius 范数：

1. 平行四边形法则：
   $\Vert A+B{\Vert }_{\mathrm{F}}^2+\Vert A-B{\Vert }_{\mathrm{F}}^2=2\Vert A{\Vert }_{\mathrm{F}}^2+2\Vert B{\Vert }_{\mathrm{F}}^2$
2. Cauchy–Schwarz 不等式：
   $|⟨A,B⟩{|}^2\le \Vert A{\Vert }_{\mathrm{F}}^2\Vert B{\Vert }_{\mathrm{F}}^2$
   当且仅当 $A,B$ 线性相关时取等号。
3. Pythagoras 定理：若 $⟨A,B⟩=0$，则
   $\Vert A+B{\Vert }_{\mathrm{F}}^2=\Vert A{\Vert }_{\mathrm{F}}^2+\Vert B{\Vert }_{\mathrm{F}}^2$
4. 极化恒等式的实部形式：
   $\mathrm{Re}⟨A,B⟩=\frac{1}{2}(\Vert A+B{\Vert }_{\mathrm{F}}^2-\Vert A{\Vert }_{\mathrm{F}}^2-\Vert B{\Vert }_{\mathrm{F}}^2)$