MARKER-LESS AUGMENTED REALITY SYSTEM FOR MAMMOPLASTY PRE-VISUALIZATION

• Main Authors: HUBER, Niko Benjamin, DIBRA, Endri
• Format: Patent
• Language: English; French
• Published: 26.03.2020
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

A computational device includes a camera for capturing images of a patient, a computation module for generating a 3D model of the patient from captured images, including images that lack physical markers added to a body of the patient, user preferences storage, and a display for displaying a rendering of a 3D AR model that is a merger of the 3D model of the patient and a 3D model of post-surgery example body shape. The 3D AR model might be derived from a statistically plausible mesh model learned from captured data. The 3D AR model might include mapping of portions of the 3D model of the patient to portions of the 3D model of the post-surgery example body shape. The computational device might comprise a breast model fitting based on tracking points and differentiable renderers and breast model fitting based on an upper torso/breast tracker based on learned features. L'invention concerne un dispositif informatique comprenant une caméra permettant de capturer des images d'un patient, un module de calcul destiné à générer un modèle 3D du patient à partir d'images capturées, comprenant des images qui manquent de marqueurs physiques ajoutés à un corps du patient, un stockage de préférences d'utilisateur, et un dispositif d'affichage permettant d'afficher un rendu d'un modèle AR 3D qui est une fusion du modèle 3D du patient et d'un modèle 3D d'un exemple de forme corporelle post-chirurgicale. Le modèle AR 3D peut être dérivé d'un modèle de maillage statistiquement plausible appris à partir de données capturées. Le modèle AR 3D peut comprendre la mise en correspondance de parties du modèle 3D du patient avec des parties du modèle 3D de l'exemple de forme corporelle post-chirurgicale. Le dispositif informatique peut comprendre un ajustement de modèle mammaire basé sur des points de suivi et des dispositifs de rendu différentiables et un ajustement de modèle mammaire sur la base d'un dispositif de suivi de torse/poitrine supérieur sur la base de caractéristiques apprises.