基于多模态预训练模型的水稻病虫害图像描述生成研究

• Published in: 南京农业大学学报 Vol. 47; no. 4; pp. 782 - 791
• Main Authors: 薛悦平, 胡彦蓉, 刘洪久, 童莉珍, 葛万钊
• Format: Journal Article
• Language: Chinese
• Published: 浙江农林大学数学与计算机科学学院/浙江省林业智能监测与信息技术研究重点实验室/林业感知技术与智能装备国家林业和草原局重点实验室,浙江 杭州 311300 2024
• Subjects: image description generation; 诊断; 水稻病虫害; rice diseases and pests; 多模态预训练模型; 图像描述生成; diagnosis; multimodal pre-training model
• ISSN: 1000-2030
• DOI: 10.7685/jnau.202308009

TP391; [目的]针对水稻病虫害图像分类技术缺少对病症描述的问题,本文提出一种轻量化的水稻病虫害图像描述模型,对水稻病虫害图像进行更为具体的描述.[方法]以白叶枯病、细菌性条斑病、恶苗病、三化螟虫、稻瘟病、稻曲病、纹枯病、飞虱、稻蓟马、胡麻斑病这十类常见的水稻病虫害开展研究,构建了水稻病虫害图像中文描述数据集.首先采用多模态预训练模型CLIP生成图像向量,其中包含基本的图像信息以及丰富的语义信息,采用映射网络将图像向量映射到文本空间里生成文本提示向量,语言模型GPT-2根据文本提示向量生成图像描述.[结果]在水稻病虫害图像描述数据集上,本文模型的指标总体明显优于其他模型,本文算法的BLEU-1、BLEU-2、BLEU-3、BLEU-4、ROUGE、METEOR指标较传统的CNN_LSTM模型分别提升 0.26、0.27、0.24、0.22、0.22、0.14.生成的图像描述具有准确、详细、语义丰富等优点.另外使用实际稻田图片对模型进行测试,实际田间的场景更为复杂多样,生成的图像描述指标与数据集指标对比总体仅有轻微下降,仍高于其他对比模型.本文模型对水稻病虫害的总体识别准确率达 97.28%.[结论]基于多模态预训练模型的水稻病虫害图像描述方法能够准确识别水稻病虫害病症并形成相应的病症描述,为水稻病虫害检测提供一种新思路.