t-SNE 把高维数据映射到二维或三维空间做可视化,靠保留局部邻域结构把聚类「摊开」给人看——代价是全局距离与坐标轴都不可再按字面解读。
核心思想
高维数据的结构很难直接观察:特征一多,点与点之间的距离普遍趋向接近(distance concentration),直接画散点图又只能看到两三个维度。t-SNE 的切入点是把「相似」变成概率——高维空间算一套点对相似度分布,低维空间再算一套,然后挪动低维坐标,让两套分布尽可能一致。目标只有一句话:在高维空间里挨得近的点,在低维图上仍然挨得近。
一张地图的类比能说清它与线性方法的分工。PCA 像画世界地图,保住大洲之间的相对方位(全局结构),但街区级的细节被压平;t-SNE 像画城市街区图,哪栋楼挨着哪栋楼一清二楚(局部结构),至于这座城市画在纸面哪个角落、城市之间隔多远,它不承诺。前者是线性投影,只能找方差最大的线性子空间;后者不做线性假设,能把弯曲的流形结构(比如卷起来的瑞士卷)展开——这正是它能看到 PCA 看不到的聚类形状的原因。
工作原理
算法分三步:高维建相似度、低维建相似度、最小化两者差异。每一步的设计都有明确动机。
高维相似度:自适应带宽的高斯核
衡量 与 的相似程度,t-SNE 用条件概率 刻画:
其中 、 是高维空间中的数据点; 是欧氏范数,度量点对距离; 是以 为中心的高斯核带宽,由算法对每个点单独二分搜索确定,使该点的有效近邻数恰好匹配 perplexity 参数。分母对所有 求和,把指数化的距离归一化成概率分布(softmax 式的归一化)。也就是说, 回答的是:站在 自己的尺度上, 离它有多近。
逐点自适应是容易被忽略的细节:数据密集处 自动变小,近邻判得严;稀疏处自动变大,近邻判得松。随后把不对称的条件概率对称化成联合分布:
是样本总数。对称化保证 ,除以 则让每个点对总分布的贡献均等——否则一个几千点的稠密簇会在目标函数里淹没一个几十点的小簇。
低维相似度:t 分布应对拥挤问题
低维空间的点对相似度 换用自由度为 1 的 Student t 分布核:
其中 是 在低维空间的嵌入坐标,分子即 t 分布核——相似度随距离按多项式速度衰减,明显慢于高斯核的指数衰减。
换核的原因是拥挤问题(crowding problem):二维平面能容纳的「中等距离」点对数量,远小于高维空间里实际存在的数量。若低维也用高斯核,薄尾部会把大量彼此并不相似的点压进一小片区域挤成一团;t 分布核的厚尾允许中等距离的点被安置到更远的位置,簇与簇之间才推得开。
优化目标:KL 散度与它的不对称性
两套分布的差异用 KL 散度衡量,也就是 t-SNE 要最小化的代价:
这条式子累加了所有点对的分布差异总量, 是高维相似度分布、 是低维相似度分布(KL 散度的性质详见 KL散度)。它的不对称性直接决定了 t-SNE 的行为: 大而 小(高维近邻在低维被拉开)时惩罚极重,反之惩罚很轻。近邻关系因此被死死保住,远距离点对怎么摆则几乎无所谓——局部结构保真、全局结构失真,根源就在这里。
对低维坐标求梯度,形式出乎意料地简洁:
是代价 对嵌入坐标 的梯度,指明 朝哪个方向移动能降低代价。物理图像是弹簧网络: 时弹簧收缩把两点拉近, 时推开;末尾的衰减因子让远距离点对的斥力也随距离衰减,优化不会被个别离群的远点主导。梯度下降就在这张弹簧网里迭代到近似力平衡。
特点与参数
| 特性 | 说明 |
|---|---|
| 优势 | 保留局部结构,能发现复杂聚类模式 |
| 局限 | 计算成本高,结果有随机性,坐标轴无明确含义,不能处理新数据 |
每条局限都能从原理推出来:KL 的不对称天然放弃全局结构;随机初始化加非凸优化让每次结果有波动;没有 transform 方法,新数据只能整个重算(对比 PCA 的线性投影随时可复用);相似度矩阵是 ,点数上十万就很吃力。
| 参数 | 说明 | 建议值 |
|---|---|---|
perplexity | 每个点考虑的近邻数 | 5-50 |
learning_rate | 优化步长 | 需调试 |
n_iter | 迭代次数 | 足够大确保收敛 |
perplexity 是理解成本最低、影响最大的参数:它规定每个点的有效近邻数,直接决定 的搜索目标。取值小关注细粒度局部,取值大看更粗的轮廓。
参数调试建议
perplexity 从 30 附近起步,再取几档差异明显的值(如 5、30、100)各跑一遍——同一批数据在不同 perplexity 下簇结构稳定,结论才可信。较新版本的 sklearn 已把
n_iter改名max_iter,升级时注意参数名变化。
图上读不出的信息
簇的面积大小、簇与簇之间的距离、坐标轴的数值,都不能按字面解读。t-SNE 只承诺邻域关系,任何跨簇尺度的比较一律无效。
与 PCA 对比
| 特性 | t-SNE | PCA |
|---|---|---|
| 核心思想 | 非线性,保留局部结构 | 线性,保留全局结构 |
| 最佳用途 | 数据可视化,探索聚类 | 数据压缩、去噪、特征提取 |
| 计算效率 | 较慢 | 非常快 |
| 可解释性 | 坐标轴无明确含义 | 主成分有方差贡献度 |
两者是互补而非替代。常见流水线是先用 PCA降维 做去噪和预降维(原论文建议先压到 50 维左右),再对降维结果跑 t-SNE 做可视化——PCA 剔掉低方差噪声后,t-SNE 呈现的邻里结构更干净,计算量也小得多。数据量大到 t-SNE 跑不动时,UMAP 是最常见的替代:速度快得多,全局结构保持也更好,可解释性同样有限。
代码示例
from sklearn.manifold import TSNE
import matplotlib.pyplot as plt
def visualize_clusters(features, labels, max_points=1000):
# 抽样避免内存问题
if len(features) > max_points:
indices = np.random.choice(len(features), max_points, replace=False)
features = features[indices]
labels = labels[indices]
reducer = TSNE(n_components=2, random_state=42, perplexity=30)
embeddings_2d = reducer.fit_transform(features)
plt.figure(figsize=(12, 10))
scatter = plt.scatter(embeddings_2d[:, 0], embeddings_2d[:, 1],
c=labels, cmap='Spectral', alpha=0.7, s=10)
plt.colorbar(scatter)
plt.title('t-SNE Visualization')
plt.show()调用的是 sklearn 的 TSNE estimator,几处细节值得注意。入口只有 fit_transform 没有 transform——「不能处理新数据」在 API 层面就是这么体现的;抽样那段对应 的现实约束,千点级别的抽样让参数迭代快很多(代码假设外部已 import numpy as np);random_state=42 固定初始化保证可复现,调参时必须固定它,否则分不清图的变化来自参数还是随机性。
结果解读
图落地后按两步读:先看同色点是否聚成紧凑的簇,再看不同色的簇之间是否拉开。前者说明类内特征一致,后者说明类间有区分度,两步都成立时特征空间的聚类结构基本可信。若不同颜色大面积混杂,优先怀疑特征本身区分度不足,其次才是调 perplexity 与 learning_rate——参数能改变呈现,救不了没有结构的数据。这类图最终服务于聚类决策,定性看形状,定量还得回到 聚类算法 的评估指标上(如轮廓系数,参见 评估聚类效果)。
t-SNE 的正确定位是探索工具而非证据:它擅长把「数据里可能有这样的簇」变成一个肉眼可检验的假设,但簇的真实性、数量与稳定性,需要换 perplexity、换随机种子、再上量化指标交叉验证。把它当成结论本身,是这类可视化最常见的误用。