多尺度特征融合：为检测学习更好的语义信息（附论文下载）

公众号ID｜ComputerVisionGzq

本文提出了一种基于单模态语义分割的新型坑洼检测方法。它首先使用卷积神经网络从输入图像中提取视觉特征，然后通道注意力模块重新加权通道特征以增强不同特征图的一致性。随后，研究者采用了一个空洞空间金字塔池化模块（由串联的空洞卷积组成，具有渐进的扩张率）来整合空间上下文信息。

这有助于更好地区分坑洼和未损坏的道路区域。最后，使用研究者提出的多尺度特征融合模块融合相邻层中的特征图，这进一步减少了不同特征通道层之间的语义差距。在Pothole-600数据集上进行了大量实验，以证明提出的方法的有效性。定量比较表明，新提出的方法在RGB图像和转换后的视差图像上均达到了最先进的 (SoTA) 性能，优于三个SoTA单模态语义分割网络。

二、前言

在最先进的（SoTA）语义分割CNN中，全卷积网络(FCN)用卷积层替换了传统分类网络中使用的全连接层，以获得更好的分割结果。上下文信息融合已被证明是一种有效的工具，可用于提高分割精度。ParseNet通过连接全局池化特征来捕获全局上下文。PSPNet引入了空间金字塔池化(SPP)模块来收集不同尺度的上下文信息。Atrous SPP(ASPP)应用不同的空洞卷积来捕获多尺度上下文信息，而不会引入额外的参数。

三、新框架

给定道路图像，坑洼可以具有不同的形状和尺度。我们可以通过一系列的卷积和池化操作获得顶层的特征图。虽然特征图具有丰富的语义信息，但其分辨率不足以提供准确的语义预测。不幸的是，直接结合低级特征图只能带来非常有限的改进。为了克服这个缺点，研究者设计了一个有效的特征融合模块。

研究者提出的道路坑洼检测网络的架构如上图所示。首先，采用预训练的dilated ResNet-101作为主干来提取视觉特征，还在最后两个ResNet-101块中用空洞卷积替换下采样操作，因此最终特征图的大小是输入图像的1/8。

该模块有助于在不引入额外参数的情况下保留更多细节。此外，采用Deeplabv3中使用的ASPP模块来收集顶层特征图中的上下文信息。然后，采用CAM重新加权不同通道中的特征图。它可以突出一些特征，从而产生更好的语义预测。最后，将不同级别的特征图输入到MSFFM中，以提高坑洼轮廓附近的分割性能。

• Multi-scale feature fusion

顶部特征图具有丰富的语义信息，但其分辨率较低，尤其是在坑洼边界附近。另一方面，较低的特征图具有低级语义信息但分辨率更高。为了解决这个问题，一些框架直接将不同层的特征图组合起来。然而，由于不同尺度的特征图之间的语义差距，他们取得的改进非常有限。

注意模块已广泛应用于许多工作中。受一些成功应用的空间注意力机制的启发，研究者引入了MSFFM，它基于空间注意力来有效地融合不同尺度的特征图。语义差距是特征融合的关键挑战之一。

为了解决这个问题，MSFFM通过矩阵乘法计算不同特征图中像素之间的相关性，然后将相关性用作更高级别特征图的权重向量。

总之，研究者利用矩阵乘法来测量来自不同层的特征图中像素的相关性，将来自较低特征图的详细信息整合到最终输出中，从而提高了坑洞边界的语义分割性能。在最后两层之间应用这个模块。

• Channel-wise feature reweighing

众所周知，高级特征具有丰富的语义信息，每个通道图都可以看作是一个特定类别的响应。每个响应都会在不同程度上影响最终的语义预测。因此，研究者利用CAM，如下图所示，通过改变每个通道中的特征权重来增强每一层中特征图的一致性。

CAM旨在根据每个特征图的整体像素重新加权每个通道。首先采用全局平均池化层来压缩空间信息。随后，使用修正线性单元(ReLU)和sigmoid函数生成权重向量，最终通过逐元素乘法运算将权重向量与输入特征图组合以生成输出特征图。整体信息被整合到权重向量中，使得特征图更可靠，坑洼检测结果更接近GT实况。在最终的实验中，在第4层和第5层使用了CAM。

*baseline network使用的是Deeplabv3

性能比较

坑洼检测结果示例：(a) RGB图像；(b)转换后的视差图像；(c)坑洼地面真相；(d)语义RGB图像分割结果；(e)语义变换视差图像分割结果。

在上图中提供了提出的道路坑洼检测方法的一些定性结果，其中可以观察到CNN在转换后的视差图像上取得了准确的结果。从综合实验评估中获得的结果证明了新提出的方法与其他SoTA技术相比的有效性和优越性。由于提出了CAM和MSFFM，新方法在RGB和转换后的视差图像上实现了更好的坑洼检测性能。

转载请联系本公众号获得授权