[资料]

YOLOv6中的用Channel-wise Distillation进行的量化感知训练

2022-10-9 16:25:51 4244 检测器 CSC 计算机视觉

0 1、YOLOv6中的用Channel-wise Distillation进行的量化感知训练来自哪里　　知识蒸馏（KD）已被证明是一种用于训练紧凑密集预测模型的简单有效的工具。轻量级学生网络通过从大型教师网络转移的额外监督进行训练。大多数先前用于密集预测任务的 KD变体在空间域中对齐来自学生和教师网络的激活图，通常通过标准化每个空间位置上的激活值并最小化逐点和/或成对差异。　　与之前的方法不同，这里建议对每个通道的激活图进行归一化以获得Soft概率图。通过简单地最小化两个网络的通道概率图之间的Kullback-Leibler （KL）散度，蒸馏过程更加关注每个通道的最显著区域，这对于密集预测任务很有价值。　　作者对一些密集的预测任务进行了实验，包括语义分割和目标检测。实验表明提出的方法大大优于最先进的蒸馏方法，并且在训练期间需要更少的计算成本。特别是，在COCO 数据集上的 mAP 中将 RetinaNet 检测器（ResNet50 主干）提高了 3.4%，在 Cityscapes 数据集上的 mIoU 中将PSPNet（ResNet18 主干）提高了 5.81%。原作者：ChaucerG 1 YOLOv6中的用Channel-wise Distillation进行的量化感知训练来自哪里？.pdf 763.76 KB , 下载次数: 0
举报淘帖0 只看该作者相关推荐 • INT8量化常见问题的解决方案 376 • yolov5s_v6.1_3output.torchscript.pt模型auto_cali一键量化工具执行报错的原因？ 369 • 【KV260视觉入门套件试用体验】KV260部署yolov3实现车辆和行人检测 2667 • yolov5训练的tflite模型进行对象检测不适用于NNStreamer 2.2.0-r0？ 379 • yolov7 onnx模型在NPU上太慢了怎么解决？ 679 • 使用Yolov5 - i.MX8MP进行NPU错误检测是什么原因？ 545 • 怎样使用PyTorch Hub去加载YOLOv5模型 2894 • 龙哥手把手教你学视觉-深度学习YOLOV5篇 7653 • 使用YOLOv3训练BDD100K数据集之开始训练 2874 • CV之YOLOv3：深度学习之计算机视觉神经网络Yolov3-5clessses训练自己的数据集全程记录 2761