FID 通过 Inception 特征空间中的分布距离衡量生成图像与真实数据的相似度,是图像生成模型评估的当前主指标。视频领域的扩展见 Fréchet Video Distance (FVD),与 IS 的对比速查见 图像生成指标。

基本概念

FID 衡量真实数据分布与生成数据分布在特征空间中的距离,值越小说明两个分布越接近、生成质量越高。它最初为评估 GAN 而设计,如今已成为扩散模型、自回归图像模型共用的标尺。

与逐张打分的思路不同,FID 是分布级指标:单张图片没有 FID,必须先采样几万张(惯例 50k),估出整体分布的统计量才能算。这个设定决定了它的脾气——既能察觉画质退化,也能察觉生成结果过于单一。

名字来历

Fréchet 距离得名于法国数学家 Maurice Fréchet(1878–1973),度量空间与泛函分析的奠基人之一,抽象空间上谈”距离”这套语言就是他给出的。以他命名的分布间距离衡量的是两个概率分布在同一空间中的最小耦合代价。

FID 这个具体指标由 Heusel 等人在 NeurIPS 2017 的 TTUR 论文中提出(“GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium”)。那篇论文的主线是生成器与判别器用不同学习率时的收敛性证明,FID 只是为了验证收敛质量而顺手造的工具——结果工具比定理流传得更广。

数学上有个关键事实:两个多元高斯分布之间的 Fréchet 距离等价于 Wasserstein-2 距离。文献里 FID 有时被写成 “Wasserstein-2 distance between Inception features”,指的是同一件事。

理论基础

三个假设撑起整个指标。特征提取上,用 ImageNet 预训练的 Inception-v3 把图像映到高层语义空间;分布建模上,假设这些特征向量服从多元高斯分布,于是整个分布被压成均值 和协方差 两个统计量;距离度量上,用 Wasserstein-2 距离比较两组统计量的差异。

Wasserstein-2 距离来自最优传输,俗称推土机距离(Earth Mover’s Distance 的二阶版本)。把一个分布想成一堆沙子、另一个分布是目标形状的沙坑,W2 就是把沙子搬成目标形状所需的最小均方搬运代价:每粒沙移动距离的平方乘以质量,对所有可能的搬运方案取最小值。它的好处是即使两个分布完全不重叠也能给出有意义的数值,KL 散度在这种情形直接爆成无穷。

一般分布的 W2 需要解一个优化问题,代价很高。高斯分布是特例——两个高斯之间的 W2 存在闭式解,直接由 和 算出。这才是 FID 非要假设高斯的真实原因:不是因为 Inception 特征真的高斯(它并不),而是这个假设把一个优化问题换成了一行矩阵运算。

计算公式

两项正是高斯 W2 闭式解的两个组成部分。 是均值位移代价,两个分布的重心差多远,对应把整堆沙子平移过去的开销。迹算子里的部分是协方差形状差异,分布的扩散程度与各方向的相关结构差多少,对应把沙堆捏成目标形状的开销。质量差和多样性差因此被拆进了不同的项。

是矩阵平方根而非逐元素开方,要靠特征分解或 Schur 分解求。2048×2048 协方差矩阵做这一步是 FID 计算的主要开销,也是数值误差的主要来源,代码里判断复数分量再取实部就是为了兜住这个数值问题。

采样量决定数字能不能比

FID 是有偏估计,样本量越少数字越大。惯例是 50k 张生成样本对全量真实数据,用 10k 样本算出的 FID 通常明显偏高。不同论文的数字只在样本量、Inception 权重、预处理管线一致时才可直接对比。

Inception 网络的角色

FID 的第一个判断是:别在像素空间比较图像。像素距离对语义变化几乎无感——把一张人脸整体调亮 10%,L2 距离变化很大而语义毫无变化;反过来把眼睛糊成一团,局部像素改动不大但图像已经废了。像素度量与人的感知方向不一致,这是早期生成模型评估最大的痛点。

Inception-v3 提供了替代坐标系。它在 ImageNet 上区分一千个类别,为了完成这个任务,高层特征必须编码”是什么物体、什么纹理、什么结构”这类语义信息,同时对亮度、微小平移这类无关变化保持不变。FID 取 pool3 层(最后一级全局平均池化)的 2048 维向量:足够高层以承载语义,又还没被分类头压成 1000 维 logits 丢掉细节。选这一层是语义抽象度与信息保留之间的折中。

Inception 家族的多尺度卷积设计从 Inception-v1 起就已确立,同一层内并行不同大小的卷积核,让特征天然覆盖多个感受野尺度。这种结构对纹理和物体轮廓都敏感,恰好适合充当图像质量的探针。

代价是 FID 完整继承了 Inception 的偏见。ImageNet 覆盖不到的领域(医学影像、卫星图、线稿插画)落在特征空间的边缘区域,FID 在那里的判断力大幅下降。TensorFlow 原版权重与 PyTorch 移植版权重算出的数字也不完全相同,跨框架照搬论文数字是常见的坑。

代码实现

import numpy as np
from scipy.linalg import sqrtm
 
def calculate_fid(act1, act2):
    mu1, sigma1 = act1.mean(axis=0), np.cov(act1, rowvar=False)
    mu2, sigma2 = act2.mean(axis=0), np.cov(act2, rowvar=False)
    ssdiff = np.sum((mu1 - mu2)**2.0)
    covmean = sqrtm(sigma1.dot(sigma2))
    if np.iscomplexobj(covmean):
        covmean = covmean.real
    fid = ssdiff + np.trace(sigma1 + sigma2 - 2.0 * covmean)
    return fid

常见模型 FID 基准

模型数据集 / 分辨率FID
StyleGAN2CIFAR-10 32×325.59
StyleGAN2-ADACIFAR-10 32×322.42
StyleGANFFHQ 1024×10244.40
StyleGAN2FFHQ 1024×10242.84
BigGAN-deepImageNet 256×2566.95
ADM(无引导)ImageNet 256×25610.94
ADM-G(分类器引导)ImageNet 256×2564.59
DiT-XL/2ImageNet 256×2562.27

数字取自各自原论文,不同实现与样本量会有差异。

ImageNet 256×256 那几行是分水岭。BigGAN-deep 的 6.95 长期是 GAN 的天花板,裸扩散模型 ADM 只有 10.94、明显落后;接上分类器引导后 ADM-G 做到 4.59,Dhariwal 与 Nichol 那篇 “Diffusion Models Beat GANs on Image Synthesis” 的标题就是从这个反超来的。之后 DiT-XL/2 换 Transformer 骨干把数字推到 2.27,GAN 阵营再没追回来。CIFAR-10 那两行则说明另一件事:StyleGAN2-ADA 靠自适应数据增强把 5.59 压到 2.42,架构没动,小数据场景下 GAN 依然有竞争力。

优势与适用场景

特点说明
与人类感知一致基于深度特征而非像素比较
对多样性敏感能检测模式坍塌
全面性质量与多样性同时纳入

最常见的用法是 GAN 与扩散模型的横向评测,以及训练过程中定期打点看曲线是否还在降。风格迁移、超分、图像修复这类条件生成任务也用 FID 判断输出有没有落在真实图像的流形上。跨模态生成通常把它和 CLIP score 搭配:FID 管画质与多样性,CLIP score 管文图对齐,单看任何一个都会被刷分。

局限性

正态分布假设是最根本的裂缝。Inception 特征的真实分布有多个模态、也有重尾,用一阶二阶矩概括必然丢信息——两个统计量相同而形状迥异的分布会拿到相同的 FID。

计算开销不小。50k 张图要过一遍 Inception 前向,再对 2048 维协方差做矩阵平方根,单次评估往往是分钟级,训练中高频打点会明显拖慢迭代。

真正危险的是它测不出过拟合。生成器如果直接背下训练集原图,FID 会低到极致却毫无生成价值,需要配合 precision/recall 或最近邻检索一起看。加上整个指标建立在一个预训练网络之上,换权重、换框架、换数据域都可能让数字失去可比性。

把 FID 当相对量用

同一份评估管线内部比较不同 checkpoint、不同模型,FID 非常可靠;跨论文比绝对数值前先确认样本量与 Inception 实现一致,否则差个零点几毫无意义。