归纳偏置（Inductive Bias）是模型在学习过程中引入的先验假设，帮助模型在有限数据下做出合理推断。

定义

归纳偏置是模型对问题结构的偏向或假设，限制或引导模型决策。它使模型能从有限训练数据推断一般规律，而非仅记忆数据。

核心作用

常见归纳偏置

平滑假设

相邻数据点在输出上差异不大。回归、SVM 等算法依赖此假设避免过拟合。

平稳性假设

未来数据分布与过去相似，常用于序列预测任务。

局部性假设

局部区域特征对整体任务至关重要。CNN 基于此假设聚焦图像局部模式。

可分性假设

数据可被超平面或曲线划分。SVM 假设数据具有较强的可分性。

模型与归纳偏置

模型选择

不同算法的归纳偏置由其结构和假设决定。选择模型时需考虑：

• 任务性质
• 数据特点
• 归纳偏置与问题的匹配度

例如图像识别任务，CNN 的局部性和空间不变性偏置通常比全连接网络更匹配。