张芷铭的个人博客

Gated Convolution 门控卷积

Gated Convolution 门控卷积

定义与核心思想

门控卷积（Gated Convolution） 是一种动态特征选择机制，通过引入可学习的门控值（Gating Values）来增强卷积操作的灵活性。其核心思想是：在卷积过程中，通过门控单元动态调整不同空间位置和通道的特征权重，从而实现对有效/无效像素的区分。与传统的卷积（Vanilla Convolution）相比，门控卷积特别适用于需要处理不规则输入（如图像修复中的掩码区域）的场景。

发展历史

  1. 前身：部分卷积（Partial Convolution）
    2018年提出的部分卷积通过硬编码的掩码更新规则（如将存在有效像素的区域掩码置1）处理图像修复任务，但存在无法区分不同有效像素数量区域的局限性。

  2. 提出与改进
    2019年ICCV论文《Free-Form Image Inpainting with Gated Convolution》首次提出门控卷积，通过Sigmoid函数生成软掩码（Soft Mask），使网络能够自适应学习特征选择机制。2022年后，递归门控卷积（GnConv）进一步将空间交互扩展到高阶，在通用视觉任务中实现更高性能。

  3. 跨领域扩展
    2024年后，门控卷积被应用于目标检测（如YOLOv8改进）、裂缝分割（SCSegamba模型）等任务，验证了其跨领域的有效性。

数学原理与结构分析

基本公式

门控卷积的运算过程可表示为： $$ \begin{aligned} g &= \sigma(W_g \ast x) \ y &= \phi(W \ast x) \odot g \end{aligned} $$ 其中：

  • $W_g$ 和 $W$ 分别为门控卷积核和特征卷积核
  • $\sigma$ 为Sigmoid函数，$\phi$ 为激活函数（如ReLU）
  • $\odot$ 表示逐元素相乘

结构特性

  1. 动态特征选择
    门控值 $g$ 通过卷积核与输入特征计算得到，能够根据不同输入内容调整权重。例如在图像修复中，门控值会抑制掩码区域的无效像素。

  2. 高阶交互扩展
    递归门控卷积（GnConv）通过多阶递归操作实现高阶空间交互：

    1
2
3
4
5
6

    # 伪代码示例（参考HorNet设计）
def GnConv(x, order=3):
    proj = split(Linear(x), chunks=order)  # 通道分割
    for i in range(order):
        x = GatedConv(proj[i], x)  # 递归门控卷积
    return x

  3. 计算高效性
    与Self-Attention的 $O(N^2)$ 复杂度相比，门控卷积通过局部卷积核和通道分组设计实现线性复杂度。

应用场景

1. 图像修复（Image Inpainting）

  • 问题：传统卷积无法区分掩码区域（无效像素）与正常区域。
  • 解决方案：
    门控卷积通过动态门控值抑制掩码区域的无效特征传播。例如在Free-Form Inpainting任务中，门控值可视化显示其能同时捕捉掩码边界和语义分割信息。

2. 通用视觉模型

  • HorNet模型：通过递归门控卷积替代Transformer中的Self-Attention，在ImageNet分类任务中达到87.7% Top-1准确率，超越ConvNeXt和Swin Transformer。
  • 性能对比：
  • 模型ImageNet AccCOCO AP
    Swin-T81.3%48.1
    HorNet-T82.8%49.3

3. 目标检测与分割

  • YOLOv8改进：将GnConv模块引入C2f结构，通过高阶空间交互增强特征融合能力。
  • SCSegamba模型：在裂缝分割任务中，门控瓶颈卷积（GBC）通过动态调整通道权重提升复杂背景下的特征判别力。

代码实现示例

基础门控卷积层（PyTorch）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import torch
import torch.nn as nn

class GatedConv2d(nn.Module):
    def __init__(self, in_channels, out_channels, kernel_size=3, padding=1):
        super().__init__()
        self.feature_conv = nn.Conv2d(in_channels, out_channels, kernel_size, padding=padding)
        self.gate_conv = nn.Conv2d(in_channels, out_channels, kernel_size, padding=padding)
        self.sigmoid = nn.Sigmoid()
        
    def forward(self, x):
        features = self.feature_conv(x)
        gating = self.sigmoid(self.gate_conv(x))
        return features * gating

递归门控卷积实现（参考HorNet）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

class GnConv(nn.Module):
    def __init__(self, dim, order=4):
        super().__init__()
        self.order = order
        self.dims = [dim // 2**i for i in range(order)]
        self.convs = nn.ModuleList([
            nn.Conv2d(dim, self.dims[i], 1) for i in range(order)
        ])
        self.dwconv = nn.Conv2d(sum(self.dims), sum(self.dims), kernel_size=7, padding=3, groups=sum(self.dims))
        
    def forward(self, x):
        xs = torch.split(x, self.dims, dim=1)
        for i in range(self.order):
            if i == 0:
                out = self.convs[i](xs[i])
            else:
                out = torch.cat([out, self.convs[i](xs[i] + out)], dim=1)
        out = self.dwconv(out)
        return out

实践经验与优化建议

  1. 初始化策略
    门控卷积层的权重建议采用Xavier初始化，避免初始阶段门控值饱和（接近0或1）导致梯度消失。

  2. 与注意力的结合
    在图像修复任务中，可将门控卷积与上下文注意力（Contextual Attention）结合使用，兼顾局部细节和全局一致性。

  3. 计算资源优化
    当输入分辨率较高时，可采用深度可分离卷积（Depthwise Convolution）降低门控分支的计算量。

  4. 可视化分析
    通过可视化门控值的空间分布，可验证模型是否有效区分关键区域（如掩码边界、物体边缘）。

参考文献

💬 评论