基于三维点云的植物多任务分割网络

• Published in: 农业工程学报 Vol. 39; no. 12; pp. 132 - 140
• Main Authors: 曾安, 罗琳, 潘丹, 冼志恒, 江旭, 冼钰伦, 刘立程
• Format: Journal Article
• Language: Chinese
• Published: 广东工业大学计算机学院,广州510006%广东技术师范大学电子与信息学院,广州510665%广州市卉通农业科技有限公司,广州511450%广州市卉通农业科技有限公司,广州511450 01.06.2023; 广州市智卉光田农业科技有限责任公司,广州511430%广东工业大学信息工程学院,广州510006
• Subjects: 三维点云; 注意力机制; deep learning; plant-part segmentation; attention mechanism; 深度学习; 植物器官分割; 3D point cloud
• ISSN: 1002-6819
• DOI: 10.11975/j.issn.1002-6819.202212059

S126; 在植物表型研究中,植物器官分割是实现无损、高通量、自动化表型测量的重要步骤.然而,现有植物器官分割方法通常需要凭借经验设置合理的阈值参数,且很少同时执行语义分割和实例分割.该研究提出了一个基于三维点云的植物多任务分割网络(a multi-task segmentation network for plant on 3D point cloud,MT-SegNet),结合多值条件随机场(multi-value conditional random field,MV-CRF)模型,同时实现茎、叶语义分割和叶实例分割.在MT-SegNet中,为解决用最大池化或平均池化方法来聚合邻域点特征可能会导致重要信息丢失的问题,该研究提出了一种基于注意力机制的多头注意力池化模块.它能自动学习到重要的邻域点特征,从而有利于提高网络的分割性能.同时,MT-SegNet分成两个不同的分支,分别用于预测点的语义类别和将这些点嵌入到高维向量,以便将这些点聚类为实例.最后,使用MV-CRF进行多任务的联合优化.在彩叶芋点云数据集上的试验结果表明,该方法的茎、叶语义分割的交并比、准确率、召回率和F1分数的平均值分别为84.54％、93.64％、91.39％、92.48％,叶实例分割的平均准确率、平均召回率、平均实例覆盖率和平均加权实例覆盖率分别为88.10％、78.44％、76.24％、76.93％,均优于PointNet、JSNet等现有的深度学习网络.该模型也适用于类似植物的点云分割类任务.这有助于为植物自动化表型测量提供必要的技术条件.