基于深度学习初始位姿估计的机器人摄影测量视点规划

针对机器人摄影测量中离线规划受初始位姿标定影响的问题,提出融合初始位姿估计的机器人摄影测量系统视点规划方法.首先构建基于YOLO(You only look once)的深度学习网络估计被测对象3D包围盒,利用PNP(Perspect-ive-N-point)算法快速求解对象姿态;然后随机生成机器人无奇异无碰撞的视点,基于相机成像的2D-3D正逆性映射,根据深度原则计算每个视角下目标可见性矩阵;最后,引入熵权法,以最小化重建信息熵为目标建立优化模型,并基于旅行商问题(Travelling saleman problem,TSP)模型规划机器人路径.结果表明,利用深度学习估计的平移误差低于5 m...

Full description

Saved in:
Bibliographic Details
Published in自动化学报 Vol. 49; no. 11; pp. 2326 - 2337
Main Authors 姜涛, 崔海华, 程筱胜, 田威
Format Journal Article
LanguageChinese
Published 宿迁学院机电工程学院 宿迁 223800%南京航空航天大学机电学院 南京 210016 01.11.2023
南京航空航天大学机电学院 南京 210016
Subjects
熵权法
robot
deep learning
visibility matrix
机器人
viewpoint planning
entropy weight method
深度学习
摄影测量
视点规划
可见性矩阵
Photogrammetry
Online AccessGet full text
ISSN0254-4156
DOI10.16383/j.aas.c200255

Cover

More Information
Summary:针对机器人摄影测量中离线规划受初始位姿标定影响的问题,提出融合初始位姿估计的机器人摄影测量系统视点规划方法.首先构建基于YOLO(You only look once)的深度学习网络估计被测对象3D包围盒,利用PNP(Perspect-ive-N-point)算法快速求解对象姿态;然后随机生成机器人无奇异无碰撞的视点,基于相机成像的2D-3D正逆性映射,根据深度原则计算每个视角下目标可见性矩阵;最后,引入熵权法,以最小化重建信息熵为目标建立优化模型,并基于旅行商问题(Travelling saleman problem,TSP)模型规划机器人路径.结果表明,利用深度学习估计的平移误差低于5 mm,角度误差低于2°.考虑熵权的视点规划方法提高了摄影测量质量,融合深度学习初始姿态的摄影测量系统提高了重建效率.利用本算法对典型零件进行摄影测量质量和效率的验证,均获得优异的位姿估计和重建效果.提出的算法适用于实际工程应用,尤其是快速稀疏摄影重建,促进了工业摄影测量速度与自动化程度提升.
ISSN:0254-4156
DOI:10.16383/j.aas.c200255