向量运算包括内积、叉积、哈达玛积和张量积,各有不同的几何意义和应用场景。本篇管数学直觉与物理应用;Python 行为、符号规范与 einsum 对照见 向量、矩阵、张量核心运算总结。
内积(Dot Product)
几何意义:衡量向量相似度,计算向量长度 。公理化定义与各种变形(加权/马氏/积分/Hermite)见 内积。
应用:Transformer 注意力机制(TODO:库内两篇注意力机制重名,合并后回补链接)、余弦相似度、功的计算
叉积(Cross Product)
几何意义:结果垂直于两向量,大小为平行四边形面积
应用:法向量计算、力矩、角动量
哈达玛积(Hadamard Product)
应用:逐元素运算、注意力掩码、激活函数
张量积(Kronecker Product)
向量情形即 np.outer 所算的外积;矩阵情形为 Kronecker 积(np.kron)。
应用:量子计算、核方法(见 支持向量机(SVM))、张量分解
对比总结
| 类型 | 符号 | 结果 | 主要用途 |
|---|---|---|---|
| 内积 | 标量 | 相似度、投影 | |
| 叉积 | 向量 | 法向量、力矩 | |
| 哈达玛积 | 同维向量 | 逐元素运算 | |
| 张量积 | 高阶张量 | 高维空间构造 |