MULTIMODALITY IMAGE PROCESSING TECHNIQUES FOR TRAINING IMAGE DATA GENERATION AND USAGE THEREOF FOR DEVELOPING MONO-MODALITY IMAGE INFERENCING MODELS

• Main Authors: DARAZS, Barbara, HERCZEG, Zita, DAS, Bipul, SHRIRAM, Krishna Seetharam, RUSKO, László, FEJES, Máté, MELAPUDI, Vikram, MULLICK, Rakesh, SZABO, Dániel Attila, SONI, Ravi, TAN, Tao, AGRAWAL, Utkarsh, RANJAN, Sohan Rashmi, AVINASH, Gopal B
• Format: Patent
• Language: English; French
• Published: 16.06.2022
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

Techniques are described for generating mono-modality training image data from multi-modality image data and using the mono-modality training image data to train and develop mono-modality image inferencing models. A method embodiment comprises generating, by a system comprising a processor, a synthetic 2D image from a 3D image of a first capture modality, wherein the synthetic 2D image corresponds to a 2D version of the 3D image in a second capture modality, and wherein the 3D image and the synthetic 2D image depict a same anatomical region of a same patient. The method further comprises transferring, by the system, ground truth data for the 3D image to the synthetic 2D image. In some embodiments, the method further comprises employing the synthetic 2D image to facilitate transfer of the ground truth data to a native 2D image captured of the same anatomical region of the same patient using the second capture modality. Sont décrites ici des techniques pour générer des données d'image d'apprentissage monomodalité à partir de données d'image multimodalité et utiliser les données d'image d'apprentissage monomodalité pour entraîner et développer des modèles d'inférence d'image monomodalité. Un mode de réalisation de procédé consiste à générer, au moyen d'un système comprenant un processeur, une image 2D synthétique à partir d'une image 3D d'une première modalité de capture, l'image 2D synthétique correspondant à une version 2D de l'image 3D dans une seconde modalité de capture, et l'image 3D et l'image 2D synthétique représentant une même région anatomique d'un même patient. Le procédé consiste en outre à transférer, au moyen du système, des données de réalité de terrain pour l'image 3D à l'image 2D synthétique. Dans certains modes de réalisation, le procédé consiste en outre à utiliser l'image 2D synthétique pour faciliter le transfert des données de réalité de terrain à une image 2D native capturée de la même région anatomique du même patient à l'aide de la seconde modalité de capture.