张芷铭的个人博客机器学习以数据、模型、优化三要素为核心，涵盖监督学习、无监督学习、强化学习等范式。
基本分类
| 类型 | 特点 | 典型方法 |
|---|---|---|
| 监督学习 | 数据有标注，假设输入输出服从联合分布 | 分类、回归 |
| 无监督学习 | 数据无标注，学习统计规律或潜在结构 | 聚类、降维 |
| 强化学习 | 与环境交互学习最优策略 | Q-Learning、PPO |
| 半监督学习 | 少量标注 + 大量无标注数据 | 自训练、图模型 |
按模型分类
概率模型：可表示为联合概率分布，如贝叶斯网络、马尔可夫随机场、条件随机场。
非概率模型：不一定可表示为联合概率分布，如 SVM、神经网络。
参数化模型：参数量固定。
非参数化模型：参数量随数据增长，如 k-NN、高斯过程。
策略：确定最优模型
损失函数：衡量单样本预测误差。风险函数：损失函数的期望。
由于联合分布未知，用经验风险近似：
- 经验风险最小化 → 极大似然估计（MLE）
- 结构风险最小化 → 最大后验估计（MAP）
正则化是结构风险最小化的实现，防止过拟合。
知识框架
数学根基
| 领域 | 核心内容 |
|---|---|
| 线性代数 | 矩阵运算、特征分解、SVD、张量 |
| 概率统计 | 贝叶斯定理、概率分布、统计推断 |
| 优化理论 | 梯度下降、凸优化、正则化 |
| 信息论 | 熵、交叉熵、KL 散度 |
核心算法
监督学习：逻辑回归、决策树、随机森林、XGBoost、SVM。
无监督学习：K-Means、DBSCAN、PCA、t-SNE、孤立森林。
强化学习：Q-Learning、DQN、PPO、SAC。
深度学习：CNN（图像）、RNN/LSTM（序列）、Transformer（注意力）、GAN、扩散模型。
工程实践
- 数据流程：预处理、特征工程、数据增强
- 框架：PyTorch、TensorFlow、Scikit-Learn
- 评估：准确率/F1/AUC（分类）、MSE/MAE（回归）、K 折交叉验证
前沿方向
- 大模型：GPT-4、多模态统一建模
- 生成式 AI：视频生成、3D 内容创建
- 联邦学习：隐私保护分布式训练
学习路径
- 入门：数学基础 + Python 编程
- 进阶：经典算法实践 + 深度学习框架
- 高阶：NLP（Transformer/BERT）、CV（YOLO/Mask R-CNN）、RL（GYM/PPO）
Comments