内积

除了标准内积（又称点积，即各坐标乘积之和），在定义内积空间时，只要满足对称性、线性和正定性这三个核心公理，就可以构造出许多不同形式的内积。

对于有限维实向量空间 ${\mathbb{R}}^n$，所有可能的内积都可以通过一个对称正定矩阵 $A$（Symmetric Positive-Definite Matrix）来统一定义：

$⟨\mathbf{x},\mathbf{y}{⟩}_A={\mathbf{x}}^{T}A\mathbf{y}$

标准内积本质上只是 $A=I$（单位矩阵）时的特例。

---

常见内积类型

1. 加权内积（Weighted Inner Product）

当矩阵 $A$ 为对角矩阵 $\text{diag}(w_1,w_2,\dots ,w_n)$ 且所有权重 $w_i>0$ 时：

$⟨\mathbf{x},\mathbf{y}{⟩}_{\mathbf{w}}={\sum }_{i=1}^n{w}_i{x}_i{y}_i$

• 物理/几何含义：给不同的坐标轴分配不同的权重。这相当于对空间在不同方向上进行了压缩或拉伸，导致等距离线从标准的“超球面”变成了“超椭球面”。
• 应用场景：加权最小二乘法（WLS）、加权特征匹配（给高置信度维度的特征分配更高的距离度量比重）。

2. 马氏内积与协方差结构（Mahalanobis-like Inner Product）

当矩阵 $A={\Sigma }^{-1}$（其中 $\Sigma$ 是特征分布的协方差矩阵）时：

$⟨\mathbf{x},\mathbf{y}{⟩}_{{\Sigma }^{-1}}={\mathbf{x}}^T{\Sigma }^{-1}\mathbf{y}$

它诱导出的度量即为马氏距离（Mahalanobis Distance）。

• 物理/几何含义：消除了不同特征维度之间的相关性（非对角线元素）和方差差异（对角线元素），在统计分布的意义下重新定标空间几何。
• 应用场景：高斯混合模型（GMM）、特征空间的异常检测、剔除噪声维度的分类器设计。

3. 泛函空间中的积分内积（Integral Inner Product）

如果将向量空间从有限维 ${\mathbb{R}}^n$ 推广到无限维的函数空间 $L^2[a,b]$（可积函数空间），离散的求和便自然演变为连续的积分：

$⟨f,g⟩={\int }_a^{b}f(x)g(x)dx$

也可以引入权重函数 $w(x)>0$：

$⟨f,g{⟩}_w={\int }_a^{b}f(x)g(x)w(x)dx$

• 应用场景：
• 正交多项式：如 Legendre 多项式、Chebyshev 多项式，它们是在特定积分内积下相互正交的基函数。
• 信号处理：傅里叶变换的核心本质，就是将信号函数投射到由三角函数组成的正交基底上。

4. 复向量空间中的 Hermite 内积

当空间扩展到复向量空间 ${\mathbb{C}}^n$ 时，为了保证内积诱导出的范数为实数，内积定义需要具备 conjugate symmetry（共轭对称性）：

$⟨\mathbf{x},\mathbf{y}⟩={\mathbf{x}}^H\mathbf{y}={\sum }_{i=1}^n{\bar{x}}_i{y}_i$

• 应用场景：量子力学态向量计算、信号处理中的复数频谱分析、Hermite 矩阵特征分解。

---

内积变化带来的几何改变

无论定义哪种内积，只要其满足内积公理，它所诱导的范数（长度）和夹角定义就会随之改变：

概念	依靠内积定义的表达形式
范数（长度）	$\Vert \mathbf{x}\Vert =\sqrt{⟨\mathbf{x},\mathbf{x}⟩}$
夹角（余弦）	$\cos \theta =\frac{⟨\mathbf{x},\mathbf{y}⟩}{\Vert \mathbf{x}\Vert \Vert \mathbf{y}\Vert }$
正交（垂直）	向量 $\mathbf{x}$ 与 $\mathbf{y}$ 正交 $⟺⟨\mathbf{x},\mathbf{y}⟩=0$

这意味着：在标准内积下不垂直的两个向量，在更换内积定义后可以是完全正交的。 这种思想在机器学习中的核方法（Kernel Methods，如 SVM 或 Kernel PCA）里有深刻应用——通过内积的隐式变换（$⟨\varphi (\mathbf{x}),\varphi (\mathbf{y})⟩=K(\mathbf{x},\mathbf{y})$），将低维非线性可分的数据映射为高维内积空间中的线性可分数据。