向量运算包括内积、叉积、哈达玛积和张量积,各有不同的几何意义和应用场景。本篇管数学直觉与物理应用;Python 行为、符号规范与 einsum 对照见 向量、矩阵、张量核心运算总结。

内积(Dot Product)

几何意义:衡量向量相似度,计算向量长度 。公理化定义与各种变形(加权/马氏/积分/Hermite)见 内积。

应用:Transformer 注意力机制(TODO:库内两篇注意力机制重名,合并后回补链接)、余弦相似度、功的计算

叉积(Cross Product)

几何意义:结果垂直于两向量,大小为平行四边形面积

应用:法向量计算、力矩、角动量

哈达玛积(Hadamard Product)

应用:逐元素运算、注意力掩码、激活函数

张量积(Kronecker Product)

向量情形即 np.outer 所算的外积;矩阵情形为 Kronecker 积(np.kron)。

应用:量子计算、核方法(见 支持向量机(SVM))、张量分解

对比总结

类型符号结果主要用途
内积标量相似度、投影
叉积向量法向量、力矩
哈达玛积同维向量逐元素运算
张量积高阶张量高维空间构造