基于上下文感知与图注意力网络的人机协作装配人员作业意图识别方法

TH165; 针对人机协作装配现有研究尚未充分综合利用复杂装配环境中各要素的三维空间特征与视觉特征,并考虑装配环境中丰富的上下文信息,使得复杂装配环境下人员作业意图识别精度较低,提出结合装配环境各要素的三维空间特征和视觉特征,基于图注意力网络实现人员作业意图的高精度识别方法.首先利用FasterR-CNN神经网络对装配场景中的各要素,如人员、机器人、零件等进行目标检测,得到各要素的空间位置信息,同时从网络中提取各要素的视觉特征信息;然后结合图注意力网络推理装配过程中人员对不同作业对象的作业意图,如搬运、组装、触碰等;最后通过人机协作场景下的齿轮装配实验对所提方法进行验证.实验结果表明,相比深度...

Full description

Saved in:
Bibliographic Details
Published in计算机集成制造系统 Vol. 30; no. 6; pp. 2005 - 2013
Main Authors 姚冬安, 徐文君, 姚碧涛, 刘佳宜, 纪圳睿
Format Journal Article
LanguageChinese
Published 武汉理工大学信息工程学院,湖北 武汉 430070 30.06.2024
宽带无线通信与传感器网络湖北省重点实验室,湖北 武汉 430070
宽带无线通信与传感器网络湖北省重点实验室,湖北 武汉 430070%武汉理工大学机电工程学院,湖北 武汉 430070
Subjects
人机协作装配
graph attention network
context-a ware
上下文感知
作业意图识别
图注意力网络
human intention recognition
human-robot collaborative assembly
Online AccessGet full text
ISSN1006-5911
DOI10.13196/j.cims.2021.0781

Cover

More Information
Summary:TH165; 针对人机协作装配现有研究尚未充分综合利用复杂装配环境中各要素的三维空间特征与视觉特征,并考虑装配环境中丰富的上下文信息,使得复杂装配环境下人员作业意图识别精度较低,提出结合装配环境各要素的三维空间特征和视觉特征,基于图注意力网络实现人员作业意图的高精度识别方法.首先利用FasterR-CNN神经网络对装配场景中的各要素,如人员、机器人、零件等进行目标检测,得到各要素的空间位置信息,同时从网络中提取各要素的视觉特征信息;然后结合图注意力网络推理装配过程中人员对不同作业对象的作业意图,如搬运、组装、触碰等;最后通过人机协作场景下的齿轮装配实验对所提方法进行验证.实验结果表明,相比深度卷积神经网络,所提方法在识别准确性、场景泛化性等方面具有优越性.
ISSN:1006-5911
DOI:10.13196/j.cims.2021.0781