DETECTION, 3D RECONSTRUCTION AND TRACKING OF MULTIPLE RIGID OBJECTS MOVING IN RELATION TO ONE ANOTHER

Die Erfindung betrifft ein Verfahren und ein System zur Detektion, 3D-Rekonstruktion und Nachverfolgung von mehreren relativ zueinander bewegten starren Objekten (11, 13, 15, 16, 17; 19) aus einer Folge von Bildern mindestens einer Kamera und kann insbesondere im Rahmen eines kamerabasierten Umfelde...

Full description

Saved in:
Bibliographic Details
Main Author ROTH, Axel
Format Patent
LanguageEnglish
French
German
Published 10.12.2020
Subjects
Online AccessGet full text

Cover

Loading…
Abstract Die Erfindung betrifft ein Verfahren und ein System zur Detektion, 3D-Rekonstruktion und Nachverfolgung von mehreren relativ zueinander bewegten starren Objekten (11, 13, 15, 16, 17; 19) aus einer Folge von Bildern mindestens einer Kamera und kann insbesondere im Rahmen eines kamerabasierten Umfelderfassungssystems zum assistierten oder automatisierten Fahren eingesetzt werden. Das (computerimplementierte) Verfahren umfasst die Schritte: a) Auswahlen von Bildern zu bestimmten Aufnahme-Zeitpunkten (=Key-Zyklen) aus der Folge von Bildern der mindestens einen Kamera, b) gemeinsame Optimierung aller Parameter eines Modells zur Beschreibung der relativ zueinander bewegten starren Objekte (11, 13, 15, 16, 17; 19) anhand der Bilder der Key-Zyklen auf der Basis von spärlich (sparse) selektierten Bildpunkten in den Key-Zyklen, wobei das Modell Parameter zur Beschreibung der Anzahl, der 3D-Struktur, der Posen der starren Objekte (11, 13, 15, 16, 17; 19) in den Key-Zyklen, und einer Zuordnung der selektierten Bildpunkten zu den starren Objekten (11, 13, 15, 16, 17; 19) umfasst, durch c) Minimierung eines Fehlerfunktionals (S20), wobei das Fehlerfunktional einen photometrischen Fehler E photo , der von Intensitäten von Bildern mehrerer Key-Zyklen abhängt, und einen ersten A-Priori-Energie-Term E comp , der von der Anzahl an starren Objekten (11, 13, 15, 16, 17; 19) abhängig ist, umfasst, d) Ausgabe der aus der Folge von Bildern detektierten Anzahl, 3D-Struktur und Trajektorie der relativ zueinander bewegten starren Objekte (11, 13, 15, 16, 17; 19). Obwohl eine gemeinsame Optimierung aller Parameter auf Basis von Bilddaten mehrerer Zeitpunkte erfolgt, ist das Verfahren zur gleichzeitigen Anwendung während der Datenerfassung (online) geeignet. The invention relates to a method and a system for the detection, 3D reconstruction and tracking of multiple rigid objects (11, 13, 15, 16, 17; 19) moving relative to one another from a series of images from at least one camera and can be used, in particular, in the context of a camera-based environment detection system for assisted or automated driving. The (computer-implemented) method comprises the following steps: a) selecting images at determined capture times (=key cycles) from the series of images from the at least one camera; b) collectively optimising all parameters of a model for describing the rigid objects (11, 13, 15, 16, 17; 19) moving relative to one another based on the images from the key cycles on the basis of sparsely selected pixels in the key cycles, wherein the model comprises parameters for describing the number, 3D structure, positions of the rigid objects (11, 13, 15, 16, 17; 19) in the key cycles and an assignment of the selected pixels to the rigid objects (11, 13, 15, 16, 17; 19); by c) minimising an error function (S20), wherein the error function comprises a photometric error E photo according to intensities of images of multiple key cycles, and a first a priori energy term E comp according to the number of rigid objects (11, 13, 15, 16, 17; 19); and d) outputting the number, 3D structure and trajectory of the rigid objects (11, 13, 15, 16, 17; 19) moving relative to one another detected from the series of images. Although a collective optimisation of all parameters is carried out on the basis of image data from multiple times, the method is suitable for simultaneous use during the data detection (online). La présente invention concerne un procédé et un système de détection, de reconstruction 3D et de suivi de plusieurs objets indéformables (11, 13, 15, 16, 17 ; 19) mobiles les uns par rapport aux autres à partir d'une série d'images d'au moins une caméra, et peut être mise en œuvre, en particulier, dans le cadre d'un système de saisie d'environnement à base de caméras pour un véhicule à conduite assistée ou automatisée. Le procédé (implémenté par ordinateur) comporte les étapes suivantes : a) la sélection d'images à des instants de prise définis (= cycles clés) à partir de la série d'images de la ou des caméras ; b) l'optimisation commune de tous les paramètres d'un modèle pour décrire les objets indéformables (11, 13, 15, 16, 17 ; 19) mobiles les uns par rapport aux autres à l'aide des images des cycles clés sur la base de points d'image sélectionnés de manière éparse dans les cycles clés, le modèle comportant des paramètres pour décrire le nombre, la structure 3D, les poses des objets indéformables (11, 13, 15, 16, 17 ; 19) dans les cycles clés, et d'une attribution des points d'image sélectionnés aux objets indéformables (11, 13, 15, 16, 17 ; 19) ; c) la minimisation d'une fonction d'erreur (S20), la fonction d'erreur comportant une erreur photométrique E photo , qui dépend d'intensités d'images de plusieurs E comp des objets du nombre d'objets indéformables (11, 13, 15, 16, 17 ; 19) ; d) la sortie du nombre, de la structure 3D et de la trajectoire, détectés à partir de la série d'images, des objets indéformables (11, 13, 15, 16, 17 ; 19) mobiles les uns par rapport aux autres. Bien qu'une optimisation commune de tous les paramètres soit effectuée sur la base de données d'image de plusieurs instants, le procédé est approprié pour une application simultanée durant la saisie des données (en ligne).
AbstractList Die Erfindung betrifft ein Verfahren und ein System zur Detektion, 3D-Rekonstruktion und Nachverfolgung von mehreren relativ zueinander bewegten starren Objekten (11, 13, 15, 16, 17; 19) aus einer Folge von Bildern mindestens einer Kamera und kann insbesondere im Rahmen eines kamerabasierten Umfelderfassungssystems zum assistierten oder automatisierten Fahren eingesetzt werden. Das (computerimplementierte) Verfahren umfasst die Schritte: a) Auswahlen von Bildern zu bestimmten Aufnahme-Zeitpunkten (=Key-Zyklen) aus der Folge von Bildern der mindestens einen Kamera, b) gemeinsame Optimierung aller Parameter eines Modells zur Beschreibung der relativ zueinander bewegten starren Objekte (11, 13, 15, 16, 17; 19) anhand der Bilder der Key-Zyklen auf der Basis von spärlich (sparse) selektierten Bildpunkten in den Key-Zyklen, wobei das Modell Parameter zur Beschreibung der Anzahl, der 3D-Struktur, der Posen der starren Objekte (11, 13, 15, 16, 17; 19) in den Key-Zyklen, und einer Zuordnung der selektierten Bildpunkten zu den starren Objekten (11, 13, 15, 16, 17; 19) umfasst, durch c) Minimierung eines Fehlerfunktionals (S20), wobei das Fehlerfunktional einen photometrischen Fehler E photo , der von Intensitäten von Bildern mehrerer Key-Zyklen abhängt, und einen ersten A-Priori-Energie-Term E comp , der von der Anzahl an starren Objekten (11, 13, 15, 16, 17; 19) abhängig ist, umfasst, d) Ausgabe der aus der Folge von Bildern detektierten Anzahl, 3D-Struktur und Trajektorie der relativ zueinander bewegten starren Objekte (11, 13, 15, 16, 17; 19). Obwohl eine gemeinsame Optimierung aller Parameter auf Basis von Bilddaten mehrerer Zeitpunkte erfolgt, ist das Verfahren zur gleichzeitigen Anwendung während der Datenerfassung (online) geeignet. The invention relates to a method and a system for the detection, 3D reconstruction and tracking of multiple rigid objects (11, 13, 15, 16, 17; 19) moving relative to one another from a series of images from at least one camera and can be used, in particular, in the context of a camera-based environment detection system for assisted or automated driving. The (computer-implemented) method comprises the following steps: a) selecting images at determined capture times (=key cycles) from the series of images from the at least one camera; b) collectively optimising all parameters of a model for describing the rigid objects (11, 13, 15, 16, 17; 19) moving relative to one another based on the images from the key cycles on the basis of sparsely selected pixels in the key cycles, wherein the model comprises parameters for describing the number, 3D structure, positions of the rigid objects (11, 13, 15, 16, 17; 19) in the key cycles and an assignment of the selected pixels to the rigid objects (11, 13, 15, 16, 17; 19); by c) minimising an error function (S20), wherein the error function comprises a photometric error E photo according to intensities of images of multiple key cycles, and a first a priori energy term E comp according to the number of rigid objects (11, 13, 15, 16, 17; 19); and d) outputting the number, 3D structure and trajectory of the rigid objects (11, 13, 15, 16, 17; 19) moving relative to one another detected from the series of images. Although a collective optimisation of all parameters is carried out on the basis of image data from multiple times, the method is suitable for simultaneous use during the data detection (online). La présente invention concerne un procédé et un système de détection, de reconstruction 3D et de suivi de plusieurs objets indéformables (11, 13, 15, 16, 17 ; 19) mobiles les uns par rapport aux autres à partir d'une série d'images d'au moins une caméra, et peut être mise en œuvre, en particulier, dans le cadre d'un système de saisie d'environnement à base de caméras pour un véhicule à conduite assistée ou automatisée. Le procédé (implémenté par ordinateur) comporte les étapes suivantes : a) la sélection d'images à des instants de prise définis (= cycles clés) à partir de la série d'images de la ou des caméras ; b) l'optimisation commune de tous les paramètres d'un modèle pour décrire les objets indéformables (11, 13, 15, 16, 17 ; 19) mobiles les uns par rapport aux autres à l'aide des images des cycles clés sur la base de points d'image sélectionnés de manière éparse dans les cycles clés, le modèle comportant des paramètres pour décrire le nombre, la structure 3D, les poses des objets indéformables (11, 13, 15, 16, 17 ; 19) dans les cycles clés, et d'une attribution des points d'image sélectionnés aux objets indéformables (11, 13, 15, 16, 17 ; 19) ; c) la minimisation d'une fonction d'erreur (S20), la fonction d'erreur comportant une erreur photométrique E photo , qui dépend d'intensités d'images de plusieurs E comp des objets du nombre d'objets indéformables (11, 13, 15, 16, 17 ; 19) ; d) la sortie du nombre, de la structure 3D et de la trajectoire, détectés à partir de la série d'images, des objets indéformables (11, 13, 15, 16, 17 ; 19) mobiles les uns par rapport aux autres. Bien qu'une optimisation commune de tous les paramètres soit effectuée sur la base de données d'image de plusieurs instants, le procédé est approprié pour une application simultanée durant la saisie des données (en ligne).
Author ROTH, Axel
Author_xml – fullname: ROTH, Axel
BookMark eNqNjMsKwjAURLPQha9_uOBWwdpC1zFJ22ibK-mtLkuRuJK0UP8fY_EDZBYDwzmzZDPfe7dgTipSgjSaHcQSrBJoarLNNAE3EshycdEmB8ygakrS11KB1bmWgKdzcGuo8PYFtAl-ySeTENCocIBUKLtm82f3Gt3m1yu2zRSJYu-GvnXj0D2cd-_2jsdDSJKkUcqj-D_qA42kNzM
ContentType Patent
DBID EVB
DatabaseName esp@cenet
DatabaseTitleList
Database_xml – sequence: 1
  dbid: EVB
  name: esp@cenet
  url: http://worldwide.espacenet.com/singleLineSearch?locale=en_EP
  sourceTypes: Open Access Repository
DeliveryMethod fulltext_linktorsrc
Discipline Medicine
Chemistry
Sciences
Physics
DocumentTitleAlternate DETEKTION, 3D-REKONSTRUKTION UND NACHVERFOLGUNG VON MEHREREN RELATIV ZUEINANDER BEWEGTEN STARREN OBJEKTEN
DÉTECTION, RECONSTRUCTION 3D ET SUIVI DE PLUSIEURS OBJETS INDÉFORMABLES MOBILES LES UNS PAR RAPPORT AUX AUTRES
ExternalDocumentID WO2020244717A1
GroupedDBID EVB
ID FETCH-epo_espacenet_WO2020244717A13
IEDL.DBID EVB
IngestDate Fri Jul 19 12:51:05 EDT 2024
IsOpenAccess true
IsPeerReviewed false
IsScholarly false
Language English
French
German
LinkModel DirectLink
MergedId FETCHMERGED-epo_espacenet_WO2020244717A13
Notes Application Number: WO2020DE200040
OpenAccessLink https://worldwide.espacenet.com/publicationDetails/biblio?FT=D&date=20201210&DB=EPODOC&CC=WO&NR=2020244717A1
ParticipantIDs epo_espacenet_WO2020244717A1
PublicationCentury 2000
PublicationDate 20201210
PublicationDateYYYYMMDD 2020-12-10
PublicationDate_xml – month: 12
  year: 2020
  text: 20201210
  day: 10
PublicationDecade 2020
PublicationYear 2020
RelatedCompanies CONTI TEMIC MICROELECTRONIC GMBH
RelatedCompanies_xml – name: CONTI TEMIC MICROELECTRONIC GMBH
Score 3.2558773
Snippet Die Erfindung betrifft ein Verfahren und ein System zur Detektion, 3D-Rekonstruktion und Nachverfolgung von mehreren relativ zueinander bewegten starren...
SourceID epo
SourceType Open Access Repository
SubjectTerms CALCULATING
COMPUTING
COUNTING
IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
PHYSICS
Title DETECTION, 3D RECONSTRUCTION AND TRACKING OF MULTIPLE RIGID OBJECTS MOVING IN RELATION TO ONE ANOTHER
URI https://worldwide.espacenet.com/publicationDetails/biblio?FT=D&date=20201210&DB=EPODOC&locale=&CC=WO&NR=2020244717A1
hasFullText 1
inHoldings 1
isFullTextHit
isPrint
link http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwfV3dT8IwEL8Q_HxT1PiBpolmTxLn2EAeiBlrx2bYSkZB3sg-ExMDRGb89702oDzxuOt62Xq9Xn_br3cAD3pipkYRx2gBNIOZI0DpxJne0LO8-YKTqmgrbk4Qtryx-Ta1phX43JyFUXlCf1RyRPSoFP29VOv18v8jFlXcytVT8oGixasrulRbo2NDZijTNdrrsiGn3NEcB3GbFkaqDSMZghcbsdKeTLwlM-2zSU-eS1luBxX3BPaHqG9enkIly2tw5Gxqr9XgMFj_8q7BgeJopisUrv1wdQY5ZYIp-scjaVISyXKEIxGNlYjYISUish1E5n3CXRKMB8IfDhiJ_L5PCVclTkYk4BN5gx8SWTdD9RSc8JChAi48Fp3DvcuE4zXwyWd_AzV759uv2byA6nwxzy-BFB0jtVIDt3rt1MQdUoLrlJFYcYYWNIuWdQX1XZqudzffwLG8lCSPZ70O1fLrO7_FUF0md2qEfwFBMI24
link.rule.ids 230,308,780,885,25564,76547
linkProvider European Patent Office
linkToHtml http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwfV1LT8JAEJ4QfOBNUeMDdRNNTxJraUEOxEC3pdW2S8ryuJE-ExMDRGr8-85uQDlxnWkn252dnfm2szMAD2qsJ1oeRagBVIOeIUBpR6laV9Os8YKLKm_J3Bw_aDoj_W1qTEvwubkLI-uE_sjiiGhRCdp7Iffr5f8hFpW5laun-ANJi1ebd6iyRseaqFCmKrTXsQaMMlMxTcRtShBKHnoyBC9dxEp7LdFzVwRP4564l7Lcdir2MewPUN68OIFSmlWhYm56r1Xh0F__8q7CgczRTFZIXNvh6hQyanFLpn88kgYloWhHOOThSJJIN6CEh10TkXmfMJv4I4-7A88iodt3KWGyxcmQ-GwsHnADIvpmyDc5IyywUADjjhWewb1tcdOp48hnfxM1m7Dtz2ycQ3m-mGcXQPK2lhiJhqFeK9ExQopxn9JiI0pRg3reNC6htkvS1W72HVQc7nszzw3er-FIsETCx7Nag3Lx9Z3doNsu4ls5278Rp5Cp
openUrl ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Apatent&rft.title=DETECTION%2C+3D+RECONSTRUCTION+AND+TRACKING+OF+MULTIPLE+RIGID+OBJECTS+MOVING+IN+RELATION+TO+ONE+ANOTHER&rft.inventor=ROTH%2C+Axel&rft.date=2020-12-10&rft.externalDBID=A1&rft.externalDocID=WO2020244717A1