向量运算包括内积、外积、哈达玛积和张量积,各有不同的几何意义和应用场景。

内积(Dot Product)

几何意义:衡量向量相似度,计算向量长度

应用:Transformer注意力机制、余弦相似度

外积(Cross Product)

几何意义:结果垂直于两向量,大小为平行四边形面积

应用:法向量计算、力矩

哈达玛积(Hadamard Product)

应用:逐元素运算、注意力掩码

张量积(Kronecker Product)

应用:量子计算、核方法

对比

类型结果主要用途
内积标量相似度、投影
外积向量法向量、力矩
哈达玛积同维向量逐元素运算
张量积高阶张量高维构造