目标检测的后处理：NMS vs WBF

导读

模型集成是组合多个模型的预测以提高系统整体性能的过程。这可以通过对多个模型的预测求平均值，或使用更复杂的方法（如加权框融合 （WBF））来组合预测来完成。集成方法可以通过减少过拟合的影响并提高系统的鲁棒性来显著提高目标检测系统的性能。

测试时增强 （TTA） 是另一种用于提高目标检测系统性能的威廉希尔官方网站 。它在测试期间将各种数据增强威廉希尔官方网站 （例如旋转、缩放和翻转）应用于输入图像。这可以通过使系统对输入数据的微小变化更加不变来帮助提高系统的鲁棒性。TTA还可以通过提供额外的数据供检测器学习来帮助提高系统的性能。

非极大值抑制 (NMS) 是一种后处理威廉希尔官方网站 ，用于去除目标检测器生成的重叠框。它常用于计算机视觉中的目标检测任务，例如人脸检测、目标跟踪以及图像和视频中的目标检测。

NMS 背后的基本思想是选择置信度得分最高的框，然后删除与其显著重叠的其他框。重复此过程，直到考虑了所有框。这有助于减少目标检测中的误报数量，因为目标检测器通常会生成对同一目标的多次检测。

计算两个边界框之间重叠的最常见方法是使用交并比 (IoU) 指标。

IoU(A,B) = (A ∩ B) / (A ∪ B)

其中 A 和 B 是边界框的面积，A ∩ B 是它们相交的面积。通常，为 IoU 度量设置一个阈值，任何 IoU 大于该阈值的边界框都被认为是重复检测并被删除。

加权框融合（WBF）是一种提高目标检测系统性能的强大威廉希尔官方网站 。它是一种将多个边界框或感兴趣区域 (ROI) 的结果组合成一个更准确、更稳定的结果的方法。当使用多个模型或算法来检测图像或视频中的目标并且需要组合结果以提高整体性能时，该威廉希尔官方网站 特别有用。

从本质上讲，WBF 是一种通过根据各种标准为每个边界框分配权重来组合多个目标检测器结果的方法。然后使用这些权重将边界框组合成一个更稳健的结果。

WBF算法的工作步骤如下：

1. 每个模型的每个预测框（或通过 TTA 获得的预测）都会添加到单个列表 B 中，然后按置信度分数 C 的降序排序。
2. 分别为框组和融合框实例化新的空列表 L 和 F。因此，列表L中的每个元素都是由于重叠而形成的一组框，而F中的每个位置仅包含一个框，即融合框。
3. 在一个循环中迭代 B 中的预测框，并检查列表 F 中的匹配框（IoU > THR）。
4. 如果未找到匹配项，则将 B 中的框添加到列表 L 和 F 的末尾作为新条目；继续进行 B 中的下一个框。
5. 如果找到匹配，则将此框添加到列表L中与F中的匹配框对应的位置处。
6. 使用框组 L[pos]中的所有内容重新计算 F[pos]中的框坐标和置信度得分。将置信度得分设置为 L[pos]中所有框的平均置信度。融合框的坐标是形成它的框的坐标的加权和，其中权重是对应框的置信度分数。最终 ROI = Σ (权重 i * ROIi) / Σ 权重 i。其中 ROIi 是第 i 个边界框，weighti 是分配给该边界框的权重，并且对正在考虑进行融合的所有边界框进行求和。最终的 ROI 是计算得出的组合边界框。
7. 最后，重新调整 F 列表中的置信度分数：将其乘以组中的框数（定义为下面的 T），然后除以模型数 N。如果组中的框数量较少，则可能意味着只有少数模型可以预测它。因此，我们需要降低此类情况的置信度分数。

WBF 可以成为提高目标检测系统性能的强大工具，并且越来越多地被广泛应用于自动驾驶汽车、监控系统和计算机视觉的许多其他领域。通过集成WBF威廉希尔官方网站 ，目标检测系统可以变得更加鲁棒和准确，并且即使在存在噪声和遮挡的情况下也可以表现得更好。

另一方面，WBF 是一种用于组合多个边界框（或感兴趣区域）的威廉希尔官方网站 ，以产生更准确和稳定的结果。它通常用于使用多个模型或算法来检测图像或视频中的对象，并且需要组合结果以提高整体性能的情况。WBF 的工作原理是根据检测置信度、与其他边界框的重叠或其他标准等因素为每个边界框分配权重。然后使用这些权重将边界框组合成一个更稳健的结果。

在上表中我们看到作者还提供了通过 TTA 组合预测的实验。他们使用在 COCO 数据集上训练的 EfficientNetB7 模型。对于 TTA，他们只采用水平翻转。同样，我们看到 WBF 的性能明显优于 NMS、Soft-NMS 和 NMW 等其他方法。

• 鲁棒性：物体检测器可能会受到杂波、遮挡和背景噪声等因素的影响。WBF可以通过结合多个检测器的结果来帮助提高物体检测系统的鲁棒性，从而可以减少这些因素的影响。
• 准确性：WBF 可以通过组合同一物体的多次检测来帮助提高物体检测系统的准确性。这在图像或视频中目标部分被遮挡或仅部分可见的情况下特别有用。
• 稳定性：WBF 可以通过减少误报和漏报的影响来帮助提高目标检测系统的稳定性。这在感兴趣的物体很小或难以检测的情况下特别有用。

• 灵活性：WBF可以与非极大值抑制（NMS）等其他威廉希尔官方网站 结合使用，以进一步提高目标检测系统的性能。

END

（添加请备注公司名和职称）

Imagination Technologies是一家总部位于英国的公司，致力于研发芯片和软件知识产权（IP），基于Imagination IP的产品已在全球数十亿人的电话、汽车、家庭和工作 场所中使用。获取更多物联网、智能穿戴、通信、汽车电子、图形图像开发等前沿威廉希尔官方网站 信息，欢迎关注 Imagination Tech！