基于深度学习的语义SLAM关键帧图像处理

P227; 同时定位和地图构建(SLAM)凭借其高能效和低功耗等特点在诸多领域应用前景广阔.然而,在传统的SLAM系统中仍存在一些问题:传统的视觉里程计中关键帧并不包含语义信息,移动机器人获取的图像信息较为单一,且在实际场景中关键帧总包含大量误匹配点和动态点.针对以上问题,本文提出一种语义SLAM思路.首先,为了能够匹配到正确且对应的特征点,摒弃动态点和误匹配点的干扰,提出了一种基于Lucas-Kanade光流法的相邻帧特征状态判别法,将这项功能作为新的线程加入ORB-SLAM3的视觉里程计部分,完成对部分传统SLAM框架的优化和改进工作.其次,针对传统SLAM系统前端视觉里程计获取的图像帧不...

Full description

Saved in:
Bibliographic Details
Published in测绘学报 Vol. 50; no. 11; pp. 1605 - 1616
Main Authors 邓晨, 李宏伟, 张斌, 许智宾, 肖志远
Format Journal Article
LanguageChinese
Published 郑州大学信息工程学院,河南 郑州 450052%郑州大学地球科学与技术学院,河南 郑州 450052%郑州大学水利科学与工程学院,河南郑州450001 01.11.2021
Subjects
同时定位与建图;ORB-SLAM3;三维语义地图;深度学习;Mask R-CNN
Online AccessGet full text
ISSN1001-1595
DOI10.11947/j.AGCS.2021.20210251

Cover

More Information
Summary:P227; 同时定位和地图构建(SLAM)凭借其高能效和低功耗等特点在诸多领域应用前景广阔.然而,在传统的SLAM系统中仍存在一些问题:传统的视觉里程计中关键帧并不包含语义信息,移动机器人获取的图像信息较为单一,且在实际场景中关键帧总包含大量误匹配点和动态点.针对以上问题,本文提出一种语义SLAM思路.首先,为了能够匹配到正确且对应的特征点,摒弃动态点和误匹配点的干扰,提出了一种基于Lucas-Kanade光流法的相邻帧特征状态判别法,将这项功能作为新的线程加入ORB-SLAM3的视觉里程计部分,完成对部分传统SLAM框架的优化和改进工作.其次,针对传统SLAM系统前端视觉里程计获取的图像帧不包含任何语义信息的问题,使用基于YOLOV4的目标检测算法和融合全连接条件随机场CRF的Mask R-CNN语义分割算法对ORB-SLAM3中的关键帧图像进行处理,有效提高了机器人等智能设备对室内环境的感知能力.
ISSN:1001-1595
DOI:10.11947/j.AGCS.2021.20210251