基于深度学习的番茄授粉机器人目标识别与检测

• Published in: 农业工程学报 Vol. 38; no. 24; pp. 129 - 137
• Main Authors: 余贤海, 孔德义, 谢晓轩, 王琼, 白先伟
• Format: Journal Article
• Language: Chinese
• Published: 合肥工业大学微电子学院,合肥 230601%中国科学院合肥智能机械研究所,合肥 230031 01.12.2022; 中国科学技术大学研究生院科学岛分院,合肥 230009
• Subjects: 神经网络; 花期分类; 姿态识别; 授粉机器人; 深度学习; 目标检测
• ISSN: 1002-6819
• DOI: 10.11975/j.issn.1002-6819.2022.24.014

TP391.4; 针对植物工厂中对番茄花朵授粉作业的自动化和智能化需求,为克服当前机器人在授粉作业过程中因番茄花朵小、姿态朝向各异而导致的检测精度不高和授粉策略不完善等难题,该研究提出了一种由目标检测、花期分类和姿态识别相结合的番茄花朵检测分类算法——TFDC-Net(Tomato Flower Detection and Classification Network).在目标检测阶段,提出了一种改进的YOLOv5s网络模型ACW_YOLOv5s,通过在YOLOv5s网络中添加卷积块注意力模块(Convolutional Block Attention Module,CBAM)并采用加权框融合(Weighted Boxes Fusion,WBF)方法,使模型的准确率达到0.957,召回率达到0.942,mAP0.5为0.968,mAP0.5-0.95为0.620,各项指标相较于原YOLOv5s网络模型分别提高了0.028、0.004、0.012、0.066,并改善了目标漏检和误检的状况.进而,针对不同花期的花朵以及花蕊不同姿态朝向的授粉问题,采用EfficientNetV2分类网络分别对3种不同花期和5种不同花蕊姿态朝向的花朵进行训练,分别得到花期分类模型及姿态识别模型,通过选取300张花期图片和200张姿态图片对其进行测试,花期分类模型和姿态分类模型的总体准确率分别为97.0％和90.5％.将研究提出的TFDC-Net算法应用于自主研发的授粉机器人中进行试验验证,结果表明,该算法能够实现对番茄花朵的目标检测、花期分类和姿态识别.在此基础上,通过坐标转换对目标快速定位,利用机器人机械臂末端执行器对番茄花朵中的花蕊完成了精准授粉,验证了该算法的有效性.该研究可实现对番茄花朵的目标识别与检测,有助于进一步推动授粉机器人的研发与应用.