RAFT 光流网络推理 demo 的输入预处理工具:将图像填充到 8 的倍数,支持对称填充(sintel)与底部填充两种模式,推理后切片还原。

class InputPadder:
    def __init__(self, dims, mode='sintel'):
        self.ht, self.wd = dims[-2:]
        pad_ht = (((self.ht // 8) + 1) * 8 - self.ht) % 8
        pad_wd = (((self.wd // 8) + 1) * 8 - self.wd) % 8
        if mode == 'sintel':
            self._pad = [pad_wd // 2, pad_wd - pad_wd // 2, pad_ht // 2, pad_ht - pad_ht // 2]
        else:
            self._pad = [pad_wd // 2, pad_wd - pad_wd // 2, 0, pad_ht]
 
    def pad(self, *inputs):
        return [pad(x, self._pad, mode='replicate') for x in inputs]
 
    def unpad(self, x):
        ht, wd = x.shape[-2:]
        c = [self._pad[2], ht - self._pad[3], self._pad[0], wd - self._pad[1]]
        return x[..., c[0]:c[1], c[2]:c[3]]

原理解析

为什么是 8:RAFT 特征编码器对输入下采样 3 次(2³ = 8),相关体在 1/8 分辨率上构建,输入高宽必须能被 8 整除。

填充量计算:

pad_ht = (((self.ht // 8) + 1) * 8 - self.ht) % 8
  • 目标:将高度/宽度补齐到 8 的倍数
  • ((h // 8) + 1) * 8 是下一个 8 的倍数
  • 减去 ht 得到需要填充的像素数
  • % 8 处理已经是 8 倍数的情况(pad = 0)

填充模式:

  • sintel:对称填充(上下左右均匀分布)
  • 默认:底部填充(只在下方和右侧填充)

unpad 操作:通过切片移除填充,恢复原始尺寸。