DETECTION, 3D RECONSTRUCTION AND TRACKING OF MULTIPLE RIGID OBJECTS MOVING IN RELATION TO ONE ANOTHER

• Main Author: ROTH, Axel
• Format: Patent
• Language: English; French; German
• Published: 10.12.2020
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

Die Erfindung betrifft ein Verfahren und ein System zur Detektion, 3D-Rekonstruktion und Nachverfolgung von mehreren relativ zueinander bewegten starren Objekten (11, 13, 15, 16, 17; 19) aus einer Folge von Bildern mindestens einer Kamera und kann insbesondere im Rahmen eines kamerabasierten Umfelderfassungssystems zum assistierten oder automatisierten Fahren eingesetzt werden. Das (computerimplementierte) Verfahren umfasst die Schritte: a) Auswahlen von Bildern zu bestimmten Aufnahme-Zeitpunkten (=Key-Zyklen) aus der Folge von Bildern der mindestens einen Kamera, b) gemeinsame Optimierung aller Parameter eines Modells zur Beschreibung der relativ zueinander bewegten starren Objekte (11, 13, 15, 16, 17; 19) anhand der Bilder der Key-Zyklen auf der Basis von spärlich (sparse) selektierten Bildpunkten in den Key-Zyklen, wobei das Modell Parameter zur Beschreibung der Anzahl, der 3D-Struktur, der Posen der starren Objekte (11, 13, 15, 16, 17; 19) in den Key-Zyklen, und einer Zuordnung der selektierten Bildpunkten zu den starren Objekten (11, 13, 15, 16, 17; 19) umfasst, durch c) Minimierung eines Fehlerfunktionals (S20), wobei das Fehlerfunktional einen photometrischen Fehler E photo , der von Intensitäten von Bildern mehrerer Key-Zyklen abhängt, und einen ersten A-Priori-Energie-Term E comp , der von der Anzahl an starren Objekten (11, 13, 15, 16, 17; 19) abhängig ist, umfasst, d) Ausgabe der aus der Folge von Bildern detektierten Anzahl, 3D-Struktur und Trajektorie der relativ zueinander bewegten starren Objekte (11, 13, 15, 16, 17; 19). Obwohl eine gemeinsame Optimierung aller Parameter auf Basis von Bilddaten mehrerer Zeitpunkte erfolgt, ist das Verfahren zur gleichzeitigen Anwendung während der Datenerfassung (online) geeignet. The invention relates to a method and a system for the detection, 3D reconstruction and tracking of multiple rigid objects (11, 13, 15, 16, 17; 19) moving relative to one another from a series of images from at least one camera and can be used, in particular, in the context of a camera-based environment detection system for assisted or automated driving. The (computer-implemented) method comprises the following steps: a) selecting images at determined capture times (=key cycles) from the series of images from the at least one camera; b) collectively optimising all parameters of a model for describing the rigid objects (11, 13, 15, 16, 17; 19) moving relative to one another based on the images from the key cycles on the basis of sparsely selected pixels in the key cycles, wherein the model comprises parameters for describing the number, 3D structure, positions of the rigid objects (11, 13, 15, 16, 17; 19) in the key cycles and an assignment of the selected pixels to the rigid objects (11, 13, 15, 16, 17; 19); by c) minimising an error function (S20), wherein the error function comprises a photometric error E photo according to intensities of images of multiple key cycles, and a first a priori energy term E comp according to the number of rigid objects (11, 13, 15, 16, 17; 19); and d) outputting the number, 3D structure and trajectory of the rigid objects (11, 13, 15, 16, 17; 19) moving relative to one another detected from the series of images. Although a collective optimisation of all parameters is carried out on the basis of image data from multiple times, the method is suitable for simultaneous use during the data detection (online). La présente invention concerne un procédé et un système de détection, de reconstruction 3D et de suivi de plusieurs objets indéformables (11, 13, 15, 16, 17 ; 19) mobiles les uns par rapport aux autres à partir d'une série d'images d'au moins une caméra, et peut être mise en œuvre, en particulier, dans le cadre d'un système de saisie d'environnement à base de caméras pour un véhicule à conduite assistée ou automatisée. Le procédé (implémenté par ordinateur) comporte les étapes suivantes : a) la sélection d'images à des instants de prise définis (= cycles clés) à partir de la série d'images de la ou des caméras ; b) l'optimisation commune de tous les paramètres d'un modèle pour décrire les objets indéformables (11, 13, 15, 16, 17 ; 19) mobiles les uns par rapport aux autres à l'aide des images des cycles clés sur la base de points d'image sélectionnés de manière éparse dans les cycles clés, le modèle comportant des paramètres pour décrire le nombre, la structure 3D, les poses des objets indéformables (11, 13, 15, 16, 17 ; 19) dans les cycles clés, et d'une attribution des points d'image sélectionnés aux objets indéformables (11, 13, 15, 16, 17 ; 19) ; c) la minimisation d'une fonction d'erreur (S20), la fonction d'erreur comportant une erreur photométrique E photo , qui dépend d'intensités d'images de plusieurs E comp des objets du nombre d'objets indéformables (11, 13, 15, 16, 17 ; 19) ; d) la sortie du nombre, de la structure 3D et de la trajectoire, détectés à partir de la série d'images, des objets indéformables (11, 13, 15, 16, 17 ; 19) mobiles les uns par rapport aux autres. Bien qu'une optimisation commune de tous les paramètres soit effectuée sur la base de données d'image de plusieurs instants, le procédé est approprié pour une application simultanée durant la saisie des données (en ligne).