[资料]

改进MobileViT-v1与MobileViT-v2的相关方法介绍

2022-10-13 14:46:42 4353 卷积神经网络嵌入式系统

0 1、如何改进MobileViT-v1与MobileViT-v2？MobileViT-v3带你实验　　卷积神经网络（CNNs）［如ResNet、DenseNet和effentnet］被广泛用于分类、检测和分割等视觉任务，因为它们在已建立的基准数据集（如Imagenet、COCO、PascalVOC、ADE20K和其他类似数据集）上具有很强的性能。当在移动设备等资源普遍受限的边缘设备上部署cnn时，适合这种环境的轻量cnn主要有Mobilenet （MobileNetv1、MobileNetv2、MobileNetv3）、ShuffleNet（ShuffleNetv1和ShuffleNetv2）和EfficientNet的轻量版本（EfficientNet-B0和EfficientNet-B1）系列模型。与具有大参数和FLOPs的模型相比，这些轻量级模型缺乏准确性。　　最近，Vision Transformer（ViTs）已经成为替代cnn执行这些视觉任务的强有力的选择。由于其架构设计，cnn与局部相邻像素/特征相互作用，生成嵌入局部信息的特征图。相比之下，ViTs中的自注意力机制与图像/特征映射的所有部分相互作用，产生嵌入全局信息的特征。这已被证明可以产生与cnn相似的结果，但需要大量的预训练数据和数据增强。此外，这种全局处理以大参数和FLOPs为代价，以匹配ViT及其不同版本（如DeiT、SwinT、MViT、Focus-ViT、PVT、T2T-ViT、xit）中的cnn的性能。表明vit存在优化器选择、学习率、权值衰减和收敛速度慢等超参数敏感性高的问题。为了解决这些问题，有学者提出在vit中引入卷积层。　　最近的许多研究在ViT体系结构中引入了卷积层，形成混合网络，以提高性能，实现高效率，并使模型在参数和flop方面更有效，如MobileViTs（MobileViTv1， MobileViTv2）， CMT， CvT， PVTv2， ResT， MobileFormer），CPVT， MiniViT， CoAtNet， CoaT。其中许多模型在ImageNet-1K上的性能（包括参数和FLOPs）如图1所示。原作者：嵌入式AI AI学习者 0 如何改进MobileViT-v1与MobileViT-v2？MobileViT-v3带你实验.pdf 1.61 MB , 下载次数: 0
举报淘帖0 只看该作者相关推荐 • CH32V103基础教程45-I2C-PEC，主机接收从机发送 531 • CH32V103基础教程43-I2C-DMA，主机接收从机发送 322 • CH32V103基础教程29-I2C-7位地址模式，主机接收从机发送 314 • DK-START-GW1NSR2 V1.1用户手册 547 • DK-START-GW1NSE2 V3.1用户手册 445 • DK-START-GW1NS2 V3.1用户手册 478 • DK-START-GW1NSR2 V2.1用户手册 380 • DK-START-GW1NZ1 V3.1用户手册 561 • 共模抑制比CMRR与电源抑制比PSRR相关介绍 1693 • 24V电源分析改进 1932