t-SNE 把高维数据映射到二维或三维空间做可视化,靠保留局部邻域结构把聚类「摊开」给人看——代价是全局距离与坐标轴都不可再按字面解读。

核心思想

高维数据的结构很难直接观察:特征一多,点与点之间的距离普遍趋向接近(distance concentration),直接画散点图又只能看到两三个维度。t-SNE 的切入点是把「相似」变成概率——高维空间算一套点对相似度分布,低维空间再算一套,然后挪动低维坐标,让两套分布尽可能一致。目标只有一句话:在高维空间里挨得近的点,在低维图上仍然挨得近。

一张地图的类比能说清它与线性方法的分工。PCA 像画世界地图,保住大洲之间的相对方位(全局结构),但街区级的细节被压平;t-SNE 像画城市街区图,哪栋楼挨着哪栋楼一清二楚(局部结构),至于这座城市画在纸面哪个角落、城市之间隔多远,它不承诺。前者是线性投影,只能找方差最大的线性子空间;后者不做线性假设,能把弯曲的流形结构(比如卷起来的瑞士卷)展开——这正是它能看到 PCA 看不到的聚类形状的原因。

工作原理

算法分三步:高维建相似度、低维建相似度、最小化两者差异。每一步的设计都有明确动机。

高维相似度:自适应带宽的高斯核

衡量 与 的相似程度,t-SNE 用条件概率 刻画:

其中 、 是高维空间中的数据点; 是欧氏范数,度量点对距离; 是以 为中心的高斯核带宽,由算法对每个点单独二分搜索确定,使该点的有效近邻数恰好匹配 perplexity 参数。分母对所有 求和,把指数化的距离归一化成概率分布(softmax 式的归一化)。也就是说, 回答的是:站在 自己的尺度上, 离它有多近。

逐点自适应是容易被忽略的细节:数据密集处 自动变小,近邻判得严;稀疏处自动变大,近邻判得松。随后把不对称的条件概率对称化成联合分布:

是样本总数。对称化保证 ,除以 则让每个点对总分布的贡献均等——否则一个几千点的稠密簇会在目标函数里淹没一个几十点的小簇。

低维相似度:t 分布应对拥挤问题

低维空间的点对相似度 换用自由度为 1 的 Student t 分布核:

其中 是 在低维空间的嵌入坐标,分子即 t 分布核——相似度随距离按多项式速度衰减,明显慢于高斯核的指数衰减。

换核的原因是拥挤问题(crowding problem):二维平面能容纳的「中等距离」点对数量,远小于高维空间里实际存在的数量。若低维也用高斯核,薄尾部会把大量彼此并不相似的点压进一小片区域挤成一团;t 分布核的厚尾允许中等距离的点被安置到更远的位置,簇与簇之间才推得开。

优化目标:KL 散度与它的不对称性

两套分布的差异用 KL 散度衡量,也就是 t-SNE 要最小化的代价:

这条式子累加了所有点对的分布差异总量, 是高维相似度分布、 是低维相似度分布(KL 散度的性质详见 KL散度)。它的不对称性直接决定了 t-SNE 的行为: 大而 小(高维近邻在低维被拉开)时惩罚极重,反之惩罚很轻。近邻关系因此被死死保住,远距离点对怎么摆则几乎无所谓——局部结构保真、全局结构失真,根源就在这里。

对低维坐标求梯度,形式出乎意料地简洁:

是代价 对嵌入坐标 的梯度,指明 朝哪个方向移动能降低代价。物理图像是弹簧网络: 时弹簧收缩把两点拉近, 时推开;末尾的衰减因子让远距离点对的斥力也随距离衰减,优化不会被个别离群的远点主导。梯度下降就在这张弹簧网里迭代到近似力平衡。

特点与参数

特性说明
优势保留局部结构,能发现复杂聚类模式
局限计算成本高,结果有随机性,坐标轴无明确含义,不能处理新数据

每条局限都能从原理推出来:KL 的不对称天然放弃全局结构;随机初始化加非凸优化让每次结果有波动;没有 transform 方法,新数据只能整个重算(对比 PCA 的线性投影随时可复用);相似度矩阵是 ,点数上十万就很吃力。

参数说明建议值
perplexity每个点考虑的近邻数5-50
learning_rate优化步长需调试
n_iter迭代次数足够大确保收敛

perplexity 是理解成本最低、影响最大的参数:它规定每个点的有效近邻数,直接决定 的搜索目标。取值小关注细粒度局部,取值大看更粗的轮廓。

参数调试建议

perplexity 从 30 附近起步,再取几档差异明显的值(如 5、30、100)各跑一遍——同一批数据在不同 perplexity 下簇结构稳定,结论才可信。较新版本的 sklearn 已把 n_iter 改名 max_iter,升级时注意参数名变化。

图上读不出的信息

簇的面积大小、簇与簇之间的距离、坐标轴的数值,都不能按字面解读。t-SNE 只承诺邻域关系,任何跨簇尺度的比较一律无效。

与 PCA 对比

特性t-SNEPCA
核心思想非线性,保留局部结构线性,保留全局结构
最佳用途数据可视化,探索聚类数据压缩、去噪、特征提取
计算效率较慢非常快
可解释性坐标轴无明确含义主成分有方差贡献度

两者是互补而非替代。常见流水线是先用 PCA降维 做去噪和预降维(原论文建议先压到 50 维左右),再对降维结果跑 t-SNE 做可视化——PCA 剔掉低方差噪声后,t-SNE 呈现的邻里结构更干净,计算量也小得多。数据量大到 t-SNE 跑不动时,UMAP 是最常见的替代:速度快得多,全局结构保持也更好,可解释性同样有限。

代码示例

from sklearn.manifold import TSNE
import matplotlib.pyplot as plt
 
def visualize_clusters(features, labels, max_points=1000):
    # 抽样避免内存问题
    if len(features) > max_points:
        indices = np.random.choice(len(features), max_points, replace=False)
        features = features[indices]
        labels = labels[indices]
 
    reducer = TSNE(n_components=2, random_state=42, perplexity=30)
    embeddings_2d = reducer.fit_transform(features)
 
    plt.figure(figsize=(12, 10))
    scatter = plt.scatter(embeddings_2d[:, 0], embeddings_2d[:, 1],
                          c=labels, cmap='Spectral', alpha=0.7, s=10)
    plt.colorbar(scatter)
    plt.title('t-SNE Visualization')
    plt.show()

调用的是 sklearn 的 TSNE estimator,几处细节值得注意。入口只有 fit_transform 没有 transform——「不能处理新数据」在 API 层面就是这么体现的;抽样那段对应 的现实约束,千点级别的抽样让参数迭代快很多(代码假设外部已 import numpy as np);random_state=42 固定初始化保证可复现,调参时必须固定它,否则分不清图的变化来自参数还是随机性。

结果解读

图落地后按两步读:先看同色点是否聚成紧凑的簇,再看不同色的簇之间是否拉开。前者说明类内特征一致,后者说明类间有区分度,两步都成立时特征空间的聚类结构基本可信。若不同颜色大面积混杂,优先怀疑特征本身区分度不足,其次才是调 perplexity 与 learning_rate——参数能改变呈现,救不了没有结构的数据。这类图最终服务于聚类决策,定性看形状,定量还得回到 聚类算法 的评估指标上(如轮廓系数,参见 评估聚类效果)。

t-SNE 的正确定位是探索工具而非证据:它擅长把「数据里可能有这样的簇」变成一个肉眼可检验的假设,但簇的真实性、数量与稳定性,需要换 perplexity、换随机种子、再上量化指标交叉验证。把它当成结论本身,是这类可视化最常见的误用。