线性代数的三百年,是一个消元技巧不断升维的故事:从解方程的顺手记号,到矩阵代数,再到向量空间公理,最终成为机器学习描述一切数据的母语。本文追问这条升级链上每一步发生的动力。

消元的副产品

解析几何的诞生把几何翻译成方程之后,如何解多元方程组成了十八世纪最实际的需求。线性代数的起点不是空间,而是消元:1683 年日本和算家关孝和在《解伏题之法》中用行列式系统消去未知数,1693 年莱布尼茨在信件里独立提出同一记号。两人都只把它当计算的 shorthand——行列式是一个数,由方程系数拼出、判别解的存在,用完即弃。

1750 年克莱姆法则把这套记号做成了解方程的通用机器:未知数被写成两个行列式之比。至此行列式作为工具已经完全体,但有一个细节值得驻足:它始终是标量,不是对象——没有人问「系数方阵本身是什么」。这个伏笔要等一百年。

从记号到对象

工具用得越顺手,越会逼问它的本体。1812 年柯西给行列式补齐系统理论,其中乘积定理

泄露了天机:等式左边要求「阵列」自己会相乘——行列式只是某个尚不存在对象的标量投影。同一时期柯西研究二次型主轴化,特征值的雏形在此成形,谱思想自此埋线。

1858 年凯莱发表《矩阵论》(A Memoir on the Theory of Matrices),正式让 matrix 作为独立对象参加代数运算:加法、乘法、逆,以及凯莱–哈密顿定理。他本人只视其为记号便利,未料它日后能撑起整个学科。矩阵概念如此晚出并非偶然——「数的表格凭什么事运算」是一道本体论坎;群论走过同一条路(伽罗瓦与群论的诞生):数学家总是先会算,后知道自己算的是什么。

分岔:物理派与公理派

矩阵让「变换」成为代数对象,但「向量」的概念仍被坐标绑架——几何量还没有独立身份。1840 年代两条路线分头突围,气质截然相反。

物理派:哈密顿 1843 年在都柏林的桥上刻下四元数(quaternion),为空间旋转寻找代数。他坚持每个运算都要有几何–物理意义,并为此付出乘法不可交换的代价——那是人类第一次遇到不交换的乘法。

公理派:格拉斯曼 1844 年的《扩张论》(Ausdehnungslehre)从公理出发构造 n 维线性系统,线性无关、张成、外积一应俱全——比时代超前了五十年,代价是出版后几乎无人能读,重写后依旧无人问津。

历史的裁决颇具讽刺:1880 年代吉布斯与亥维赛德把四元数裁剪成点积、叉积和向量分析,工程师的方言战胜了传教士的教义,麦克斯韦方程组随之改写为今天的向量形式。而格拉斯曼的公理化内核,要等二十世纪来收割——内积、酉、辛等结构家族的谱系可参见向量空间的结构。

公理化收网

三条支流——行列式、矩阵、向量——各自为战了一个世纪,统一它们的方式不是合并公式,而是提炼公理。皮亚诺 1888 年给出向量空间的公理化定义,回应者寥寥:有限维的旧世界不需要公理也运转良好。

转机来自无穷维。希尔伯特研究积分方程时造出 空间,并在 1904 年杜撰「谱」(Spektrum)一词——谱思想正式得名。随后两大推手把「线性结构 + 拓扑」送上王座:1925 年海森堡的矩阵力学让物理学自己扑进矩阵的怀抱,1932 年冯·诺依曼把全部量子力学安放进 Hilbert space;同一时期 Banach 建立赋范空间理论,泛函分析就此成为独立学科。诺特则在抽象代数一侧确立方法论:数学研究的对象是公理定义的结构。这次收网在 尼古拉·布尔巴基 处集大成;线性空间正是「代数结构 + 拓扑结构」杂交的教科书案例(母结构视角见 数学梳理-布尔巴基)。

机器接管

公理化回答了「什么是对的」,1950 年之后的新问题是「什么算得出来」。计算机让矩阵从纸面走进内存,逼出一门新学科——数值线性代数,其核心信条只有一条:不要显式求逆,要分解。

  • Lanczos(1950):Krylov 子空间上的迭代法,大矩阵的特征值从「消元求出」变成「迭代逼出」
  • Householder(1958):把领域组织为矩阵分解的科学,LU、QR 体系化;Francis 与 Kublanovskaya(1960–61)的 QR 算法成为特征值计算的标准答案
  • Golub(1965–70):SVD 的稳定算法,让任意矩阵都能被正交基对角化;Wilkinson 的向后误差分析回答「算出来的解可信吗」

谱思想在此收网:QR 迭代收敛到特征值,SVD 把谱定理推广到一切矩阵。纸面上的定理,就此变成可以调用的库函数。

数据的母语

现在可以回答主线问题了:机器学习为什么把线性代数当第一语言?因为它的每件基础设施都是线性结构的具体化——embedding 是内积空间里的点,语义相似度是夹角;神经网络的权重是线性变换的堆叠,非线性激活只负责阻止它们坍缩成一个矩阵;attention 是可学习的双线性形式;PCA 是谱定理的数据版,一切降维的底座是 SVD。训练本身(梯度下降)是在高维内积空间里沿梯度方向迭代——那正是希尔伯特当年研究的那类空间。数据弯曲成 流形 时,线性代数退守为切空间的局部语法;而高斯以来「最小二乘」这条与线性代数并行的暗线,完整展开于 最优化方法史 从最小二乘到随机梯度。

回头看,三百年抽象阶梯一步一级:

年代对象回答的问题
1693–1750行列式(标量)方程组有没有解
1812–1858矩阵(变换)变换如何复合、求逆
1843–1888向量与空间几何量如何独立于坐标
1900–1932公理化线性结构线性本身是什么
1950–1970矩阵分解结构如何被计算
今天数据表示数据住在哪里

消元套路之所以能长成数据的母语,是因为数学史在每一步都做同一件事:把算法提升为结构。结构一旦成立,便不再计较出身——今天的 transformer 不会记得,它每天相乘的矩阵,最初是关孝和为了消去一个未知数而发明的。