基于深度学习的真实尺度运动恢复结构方法

• Published in: Guang Dian Gong Cheng = Opto-Electronic Engineering Vol. 46; no. 12; p. 190006
• Main Authors: 陈朋, 任金金, 王海霞, 汤粤生, 梁荣华 / Chen Peng, Ren Jinjin, Wang, Haixia, Tang, Yuesheng, Liang Ronghua
• Format: Journal Article
• Language: Chinese; English
• Published: Chengdu Editorial Office of Opto-Electronic Advances 01.01.2019
• Subjects: Acceleration; Angular velocity; Artificial neural networks; Cameras; Convolution; Deep learning; Engineering; Frequency domain analysis; Image acquisition; Image reconstruction; Image restoration; Inertial platforms; Machine learning; Multimedia communications; Multisensor fusion; Three dimensional models
• ISSN: 1003-501X
• DOI: 10.12086/oee.2019.190006

传统的多视图几何方法获取场景结构存在两个问题：一是因图片模糊和低纹理带来的特征点误匹配，从而导致重建精度降低；二是单目相机缺少尺度信息，重建结果只能确定未知的比例因子，无法获取准确的场景结构。针对这些问题本文提出一种基于深度学习的真实尺度运动恢复结构方法。首先使用卷积神经网络获取图片的深度信息；接着为了恢复单目相机的尺度信息，引入惯性传感单元(IMU)，将IMU获取的加速度和角速度与ORB-SLAM2获取的相机位姿进行时域和频域上的协同，在频域中获取单目相机的尺度信息；最后将图片的深度图和具有尺度因子的相机位姿进行融合，重建出场景的三维结构。实验表明，使用Depth CNN网络获取的单目图像深度图解决了多层卷积池化操作输出图像分辨率低和缺少重要特征信息的问题，绝对值误差达到了0.192，准确率高达0.959；采用多传感器融合的方法，在频域上获取单目相机的尺度能够达到0.24 m的尺度误差，相比于VIORB方法获取的相机尺度精度更高；重建的三维模型与真实大小具有0.2 m左右的误差，验证了本文方法的有效性。