VISUAL SEARCH IN REAL WORLD USING OPTICAL SEE-THROUGH HEAD MOUNTED DISPLAY WITH AUGMENTED REALITY AND USER INTERACTION TRACKING

• Main Authors: RENSCHLER, MARTIN H, RAHMAN, MD SAZZADUR, LIU, KEXI
• Format: Patent
• Language: English; French
• Published: 21.05.2015
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

A method, an apparatus, and a computer program product conduct online visual searches through an augmented reality (AR) device having an optical see-through head mounted display (HMD). An apparatus identifies a portion of an object in a field of view of the HMD based on user interaction with the HMD. The portion includes searchable content, such as a barcode. The user interaction may be an eye gaze or a gesture. A user interaction point in relation to the HMD screen is tracked to locate a region of the object that includes the portion and the portion is detected within the region. The apparatus captures an image of the portion. The identified portion of the object does not encompass the entirety of the object. Accordingly, the size of the image is less than the size of the object in the field of view. The apparatus transmits the image to a visual search engine. L'invention concerne un procédé, un appareil et un produit programme d'ordinateur qui réalisent des recherches visuelles en ligne par le biais d'un dispositif de réalité augmentée (AR) doté d'un visiocasque (HMD) semi-transparent. Un appareil identifie une partie d'un objet dans le champ de vision du HMD, en se basant sur l'interaction utilisateur avec ledit HMD. Cette partie comprend un contenu consultable, tel qu'un code à barres. L'interaction utilisateur peut être un regard ou un geste. Un point d'interaction utilisateur en rapport avec l'écran du HMD est suivi pour localiser une région de l'objet qui comprend la partie, et la partie est détectée dans la région. L'appareil capture une image de la partie. La partie de l'objet identifiée n'englobe pas la totalité de l'objet. En conséquence, la taille de l'image est inférieure à celle de l'objet dans le champ de vision. L'appareil transmet l'image à un moteur de recherche visuelle.