DISPLAY APPARATUSES AND METHODS FOR CALIBRATION OF GAZE-TRACKING

• Main Authors: MIETTINEN, Ville, STRANDBORG, Mikko
• Format: Patent
• Language: English; French
• Published: 27.10.2022
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; OPTICAL ELEMENTS, SYSTEMS, OR APPARATUS; OPTICS; PHYSICS

Disclosed is a display apparatus (100) comprising: light source(s) (102); camera(s) (104); and processor(s) (106) configured to: display extended-reality image for presentation to user, whilst capturing eye image(s) of user's eyes; analyse eye image(s) to detect eye features; employ existing calibration model to determine gaze directions of user's eyes; determine gaze location of user; identify three-dimensional bounding box at gaze location within extended-reality environment, based on position and optical depth of gaze location; identify inlying pixels of extended-reality image lying within three-dimensional bounding box, based on optical depths of pixels in extended-reality image; compute probability of user focussing on given inlying pixel and generate probability distribution of probabilities computed for inlying pixels; identify at least one inlying pixel calibration target, based on probability distribution; and map position of calibration target to eye features, to update existing calibration model to generate new calibration model. L'invention concerne un appareil d'affichage (100) comprenant : une ou plusieurs sources de lumière (102) ; une ou plusieurs caméras (104) ; et un ou plusieurs processeurs (106) configurés pour : afficher une image de réalité étendue en vue d'une présentation à un utilisateur, tout en capturant la ou les images d'œil/d'yeux des yeux de l'utilisateur ; analyser la ou les images d'œil/d'yeux pour détecter des caractéristiques oculaires ; utiliser un modèle d'étalonnage existant pour déterminer les directions du regard des yeux de l'utilisateur ; déterminer la position du regard de l'utilisateur ; identifier une boîte de délimitation tridimensionnelle à un emplacement de regard dans un environnement de réalité étendue, sur la base de la position et de la profondeur optique de l'emplacement du regard ; identifier des pixels inégaux d'une image de réalité étendue se trouvant à l'intérieur d'une boîte de délimitation tridimensionnelle, sur la base de profondeurs optiques de pixels dans une image de réalité étendue ; calculer la probabilité d'une focalisation de l'utilisateur sur un pixel indéterminé donné et générer une distribution de probabilité de probabilités calculées pour des pixels inégaux ; identifier au moins une cible d'étalonnage de pixel non couché, sur la base d'une distribution de probabilité ; et apparier la position de la cible d'étalonnage avec les caractéristiques de l'œil, pour mettre à jour le modèle d'étalonnage existant afin de générer un nouveau modèle d'étalonnage.