Optimising the quality of an SfM‐MVS slope monitoring system using fixed cameras

• Published in: Photogrammetric record Vol. 34; no. 168; pp. 408 - 427
• Main Authors: Parente, Luigi, Chandler, Jim H., Dixon, Neil
• Format: Journal Article
• Language: English
• Published: Nottingham Wiley Subscription Services, Inc 01.12.2019
• Subjects: Calibration; Cameras; change detection; Closed circuit television; Configurations; Defects; Drones; Image reconstruction; Laboratory tests; Monitoring; Monitoring systems; network geometry; Optimization; Photogrammetry; Resolvers; Single lens reflex; structure‐from‐motion (SfM); Terrestrial environments; Workflow
• ISSN: 0031-868X; 1477-9730
• DOI: 10.1111/phor.12288

The quality of 3D scene reconstruction and monitoring through structure‐from‐motion multiview stereo (SfM‐MVS) depends on critical key factors, including camera calibration and image network geometry. The goal of this paper is to examine the monitoring ability of an SfM‐MVS workflow based on four or more ground‐based digital single‐lens reflex (DSLR) cameras and to estimate differences when adopting both fixed and variable camera positions and orientations. This was achieved by conducting work on a scaled laboratory testfield and a sea cliff. Tests demonstrate that a monitoring system using just four fixed cameras can achieve valuable monitoring capabilities and tolerate imperfections in the camera calibration. Furthermore, such a configuration can achieve accuracies comparable to terrestrial laser scanning (TLS) and drone‐based photogrammetry. The study demonstrates that minimising registration errors between point clouds is critical. The “registration SIFT” approach could resolve such problems. Résumé La qualité de la reconstruction et de l'auscultation de scènes 3D basées sur des méthodes «structure‐from‐motion multiview stereo» (SfM‐MVS) dépend de facteurs clés critiques, parmi lesquels l’étalonnage de la caméra et la géométrie du canevas d'images. Le but de cet article est d’étudier le potentiel pour l'auscultation d'une procédure de SfM‐MVS basée sur au moins quatre caméras reflex numériques mono‐objectif (DSLR) placées au sol, et d'estimer les différences selon que les positions et orientations des caméras sont fixes ou variables. Cela a été réalisé en appliquant la méthode à un modèle réduit expérimental en laboratoire et à une falaise littorale. Les tests montrent qu'un système d'auscultation utilisant seulement quatre caméras fixes peut avoir de bonnes aptitudes pour l'auscultation et tolérer des imperfections dans l’étalonnage des caméras. En outre, une telle configuration peut atteindre des précisions comparables à celles du laser terrestre à balayage (TLS) et de la photogrammétrie par drone. L’étude montre que la minimisation des erreurs de recalage entre nuages de points est un problème critique, résolu par l'approche de recalage SIFT. Zusammenfassung Die Qualität der 3D Objektrekonstruktion oder Überwachung durch Structure‐from‐Motion Mehrbildstereo (SfM‐MVS) hängt von einigen kritischen Schlüsselfaktoren ab, u.a. von der Kamerakalibrierung und der Aufnahmegeometrie. Das Ziel dieses Beitrags ist die Untersuchung der Überwachungsfunktionalität eines SfM‐MVS Prozessablaufs basierend auf vier oder mehr stationären, digitalen Spiegelreflexkameras (DSLR). Dabei werden Unterschiede analysiert, wenn sowohl fest als auch variable Kamerapositionen und Ausrichtungen eingesetzt werden. Die Arbeiten wurden mit einem maßstabsgerechten Labortestfeld und einem Kliff durchgeführt. Die Tests zeigen, dass ein Überwachungssystem aus nur vier fixierten Kameras wertvolle Überwachungsfunktionalitäten aufweist und Fehler in der Kamerakalibrierung tolerieren kann. Zudem kann eine solche Konfiguration Genauigkeiten vergleichbar mit Terrestrischem Laserscanning (TLS) oder UAV gestützter Luftbildphotogrammetrie erreichen. Die Studie zeigt auch, dass die Minimierung der Registrierfehler zwischen Punktwolken dabei kritisch ist, und empfiehlt einen „Registrierungs SIFT” Ansatz zur Lösung dieses Problems. Resumen La calidad de la reconstrucción de escenas 3D y la monitorización mediante técnicas de estructura desde el movimiento con múltiples vistas estéreo (SfM‐MVS) depende de factores clave, como la calibración de la cámara y la geometría de la red de imágenes. El objetivo de este documento es examinar la capacidad de monitorización de un flujo de trabajo SfM‐MVS basado en cuatro o más cámaras réflex digitales (DSLR) y estimar las diferencias al adoptar configuraciones de posiciones y orientaciones de cámara tanto fijas como variables. Esto se logró realizando un trabajo en un campo de pruebas de laboratorio y en un acantilado marino. Las pruebas demuestran que un sistema de monitorización usando cuatro cámaras fijas puede alcanzar valiosas capacidades de monitorización y tolera imperfecciones en la calibración de la cámara. Además, una configuración de este tipo puede lograr precisiones comparables al escaneo láser terrestre (TLS) y la fotogrametría basada en drones. El estudio demuestra que minimizar los errores de registro entre nubes de puntos es crítico, utilizando un enfoque de “registro SIFT” para resolver tales problemas. 摘要 经由运动恢复结构与多视立体方法(SfM‐MVS) 进行 3D 场景重建和监测的质量取决于几个关键因素, 包括像机检校和影像网形几何。 本文的目的是研究采用四个或更多个数字单眼 (DSLR) 相机利用SfM‐MVS工作流程进行监测的能力, 评估采用固定式和变动式 (位置与方位) 相机的差异。 采用小尺度的实验室测试场、 以及实际海崖测试区进行实证, 测试显示, 仅使用四个固定像机的监测系统可以实现有效的监测功能, 像机检校不精确的影响在容忍范围内。 此外, 这种配置可以达到与地面激光扫描 (TLS) 和无人机摄影测量相当的精度。 本研究显示, 点云之间的配准误差对结果至关重要, 使用 “SIFT 配准”方法可用以解决此问题。 The quality of 3D scene reconstruction through structure‐from‐motion multiview stereo (SfM‐MVS) depends on critical key factors, including camera calibration and image network geometry. The monitoring ability of SfM‐MVS based on four or more ground‐based DSLR cameras is assessed using a laboratory testfield and a sea cliff. Tests demonstrate that using just four fixed cameras can achieve valuable monitoring capabilities which tolerate imperfections in the camera calibration, achieving accuracies comparable to both terrestrial laser scanning and drone photogrammetry.