A precise visual localisation method for the Chinese Chang’e‐4 Yutu‐2 rover

• Published in: Photogrammetric record Vol. 35; no. 169; pp. 10 - 39
• Main Authors: Ma, YouQing, Liu, ShaoChuang, Sima, Bing, Wen, Bo, Peng, Song, Jia, Yang
• Format: Journal Article
• Language: English
• Published: 01.03.2020
• ISSN: 0031-868X; 1477-9730
• DOI: 10.1111/phor.12309

Abstract Precise localisation of the Yutu‐2 moon rover plays an important role in path planning, obstacle avoidance and navigating to target features. To provide high‐precision localisation information, a stereo bundle adjustment method using the theory of the unit quaternions is presented for the first time. To improve the precision and robustness of the proposed method, the rover's pose, from a visual odometry technique assisted by an inertial measurement unit and the rotation angles of the mast mechanism, is viewed as a pseudo‐observation. A reasonable weighting strategy and a rational geometric constraint condition of the stereo cameras is also invoked. Experimental results demonstrate that the proposed method provides more accurate localisation results than either a bundle adjustment alone or a weighted total least‐squares method. The proposed method has been successfully used in Chang'e‐4 mission operations. Résumé La localisation précise du rover lunaire Yutu‐2 joue un rôle important dans la planification de trajectoires, l'évitement d'obstacles et la navigation jusqu'à des cibles. Pour fournir des informations de localisation de haute précision, une méthode de compensation par faisceaux stéréoscopique utilisant la théorie des quaternions unitaires est présentée pour la première fois. Pour améliorer la précision et la robustesse de la méthode proposée, la position et l'orientation du mobile, issues d'une technique d'odométrie visuelle assistée par une centrale inertielle et des angles de rotation du mécanisme du mât, sont considérées comme pseudo‐observations. Une stratégie de pondération raisonnable et une condition rationnelle de contrainte géométrique des caméras stéréo sont également utilisées. Les résultats expérimentaux démontrent que la méthode proposée fournit des résultats de localisation plus précis qu'une compensation par faisceaux seule ou une méthode des moindres carrés pondérés. La méthode proposée a été utilisée avec succès dans les opérations de la mission Chang'e‐4. Zusammenfassung Die präzise Ortsbestimmung des Yutu‐2 Mondfahrzeugs spielt eine wichtige Rolle für die Pfadplanung, die Umgehung von Hindernissen und die Navigation zu den Zielobjekten. Hierzu wird zum ersten Mal eine Stereo‐Bündelausgleichung, auf der Basis von Quaternionen der Norm Eins, zur Bereitstellung von hochpräziser Lokalisierungsinformation vorgestellt. Zur Verbesserung der Genauigkeit und Robustheit der vorgeschlagenen Methode, wird die Stellung des Rovers als Pseudo‐Beobachtung betrachtet, die von einer visuellen Wegstreckentechnik, unterstützt durch eine inertiale Messeinheit und die Rotationswinkel des Mastenmechanismus abgeleitet wird. Zudem wird eine vernünftige Gewichtungsstrategie und eine rationale Zwangsbedingung der Geometrie der Stereokameras aktiviert. Die experimentellen Ergebnisse belegen, dass die vorgeschlagene Methode bessere Lokalisierungsergebnisse liefert, als eine Bündelausgleichung allein, oder eine gewichtete, Totale Kleinste Quadrate Methode. Die Methode wurde erfolgreich in Einsätzen der Chang'e‐4 Mission angewandt. Resumen La localización precisa del rover lunar Yutu‐2 juega un papel importante en la planificación de la ruta, evitar obstáculos y la navegación hacia los objetivos. Para proporcionar información de localización de alta precisión, se presenta por primera vez un método de ajuste de haces estéreo que utiliza la teoría de los cuaterniones unitarios. Para mejorar la precisión y robustez del método propuesto, se introduce como una pseudo‐observación la actitud del vehículo explorador, obtenida con técnicas de odometría visual asistida por una unidad de medición inercial y los ángulos de rotación del mecanismo del mástil. En el ajuste también se contemplan una estrategia de ponderación de pesos razonable y condiciones de restricción geométrica de las cámaras estéreo. Los resultados experimentales demuestran que el método propuesto proporciona resultados de localización más precisos que solo un ajuste de haces o un método de mínimos cuadrados ponderados. El método propuesto se ha utilizado con éxito en las operaciones de la misión Chang'e‐4. 摘要 嫦娥四号玉兔‐2号月球车在轨移动时,准确的位置将为月球车的路径规划、避障和科学探测提供基础信息。本文提出一种基于单位四元数理论的立体图像光束法平差模型,首次应用于嫦娥四号玉兔‐2号巡视器的高精度定位问题。为增强该模型的算法鲁棒性和精度,将基于惯性导航设备和视觉里程计的巡视器遥测位置与姿态角信息、桅杆机构转角视为伪观测量,并引入一种更合理的立体相机几何约束条件。与基于欧拉角的光束法平差算法和加权总体最小二乘算法相比较,新算法在巡视器验证器的地面实验中具有更高的巡视器定位精度（平均相对定位精度为3·01 % ）,且成功应用在嫦娥四号玉兔二号巡视器在轨任务中。