RAFT 光流网络推理 demo 的输入预处理工具:将图像填充到 8 的倍数,支持对称填充(sintel)与底部填充两种模式,推理后切片还原。
class InputPadder:
def __init__(self, dims, mode='sintel'):
self.ht, self.wd = dims[-2:]
pad_ht = (((self.ht // 8) + 1) * 8 - self.ht) % 8
pad_wd = (((self.wd // 8) + 1) * 8 - self.wd) % 8
if mode == 'sintel':
self._pad = [pad_wd // 2, pad_wd - pad_wd // 2, pad_ht // 2, pad_ht - pad_ht // 2]
else:
self._pad = [pad_wd // 2, pad_wd - pad_wd // 2, 0, pad_ht]
def pad(self, *inputs):
return [pad(x, self._pad, mode='replicate') for x in inputs]
def unpad(self, x):
ht, wd = x.shape[-2:]
c = [self._pad[2], ht - self._pad[3], self._pad[0], wd - self._pad[1]]
return x[..., c[0]:c[1], c[2]:c[3]]原理解析
为什么是 8:RAFT 特征编码器对输入下采样 3 次(2³ = 8),相关体在 1/8 分辨率上构建,输入高宽必须能被 8 整除。
填充量计算:
pad_ht = (((self.ht // 8) + 1) * 8 - self.ht) % 8- 目标:将高度/宽度补齐到 8 的倍数
((h // 8) + 1) * 8是下一个 8 的倍数- 减去
ht得到需要填充的像素数 % 8处理已经是 8 倍数的情况(pad = 0)
填充模式:
sintel:对称填充(上下左右均匀分布)- 默认:底部填充(只在下方和右侧填充)
unpad 操作:通过切片移除填充,恢复原始尺寸。