针对小样本改进的MobileViT算法

TP181; 为了提高基于Transformer的MobileViT算法在小样本数据上的分类能力,加快算法的训练、收敛以及提高推理速度,提出了卷积池化下采样(convolutional maxpooling downsampling,CMP)和多分支残差特征融合(multi-branch residual feature fusion,MR-FF)两个模块,并插入到MobileViT算法的模块中,分别用于降低模型的参数量,减少特征冗余和防止输入特征丢失.以最小参数量的MobileViT实验结果为例,在Oxford Flower1 02、Mini-ImageNet小样本数据集上进行了对比实验,插...

Full description

Saved in:
Bibliographic Details
Published in计算机工程与应用 Vol. 60; no. 22; pp. 251 - 260
Main Authors 张埠石, 范红
Format Journal Article
LanguageChinese
Published 上海海事大学物流工程学院,上海 201306 15.11.2024
Subjects
maxpooling
小样本
最大池化
Transformer
图像分类
image classification
small-sample
Online AccessGet full text

Cover

More Information
Summary:TP181; 为了提高基于Transformer的MobileViT算法在小样本数据上的分类能力,加快算法的训练、收敛以及提高推理速度,提出了卷积池化下采样(convolutional maxpooling downsampling,CMP)和多分支残差特征融合(multi-branch residual feature fusion,MR-FF)两个模块,并插入到MobileViT算法的模块中,分别用于降低模型的参数量,减少特征冗余和防止输入特征丢失.以最小参数量的MobileViT实验结果为例,在Oxford Flower1 02、Mini-ImageNet小样本数据集上进行了对比实验,插入以上两个模块的MobileViT在测试准确率上分别提升了 12.9、9.4个百分点,在训练速度上提升了 17％,在推理速度上提升了 0.31 ms.当在MobileViT中只插入CMP模块时,可以在小于60 000张图像的小样本数据集上获得更高的分类准确度、最短的推理时间.最后与五种先进的图像分类算法进行了比较,改进的MobileVIT在小样本分类数据上取得了最优的测试结果.
ISSN:1002-8331
DOI:10.3778/j.issn.1002-8331.2307-0250