SYSTEM AND METHOD FOR VISION-ASSISTED CHECKOUT

• Main Authors: KASHNIYAL, Hemant, KUMAR, Shailesh, ANAND, Abhinav, BHAGWAT, Divya, PANDEY, Naveen Kumar, CHOUDHARY, Suman, PAILLA, Balakrishna
• Format: Patent
• Language: English; French
• Published: 06.04.2023
• Subjects: CALCULATING; CHECKING-DEVICES; COFFEE MILLS; COMPUTING; COUNTING; DATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FORADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORYOR FORECASTING PURPOSES; DOMESTIC ARTICLES OR APPLIANCES; ELECTRIC DIGITAL DATA PROCESSING; FURNITURE; HUMAN NECESSITIES; PAYING COUNTERS; PHYSICS; REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS; SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS,STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; SPICE MILLS; SUCTION CLEANERS IN GENERAL; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE,COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTINGPURPOSES, NOT OTHERWISE PROVIDED FOR

This present disclosure proposes a system and method for providing a 3D computer vision-assisted frictionless self-checkout experience in a traditional retail store by using two RGB-D camera sensors and a conveyer belt. The disclosure provides a self-checkout counter (106) that enables a customer (102) to go through a self-service checkout process by simply placing the collected products one by one on a conveyer belt. One vertical and another horizontal RGB-D sensor (108) mounted in a housing frame attached towards the end of the conveyer belt capture RGB and depth image of each product passing through the housing and pass it to a product recognition engine (216). The engine (216) identifies the unique product along with its volumetric attributes processing the RGB-D data that is further compared with a master product database and processed for invoicing. The customer wallet and payment may be integrated with the customer phone number at the self-checkout counter (106) for providing a completely automated checkout experience. La présente invention concerne un système et un procédé pour fournir une expérience de caisse de sortie en libre-service fluide assistée par vision informatique 3D dans un magasin de détail classique en utilisant deux capteurs de caméra RVB-D et un tapis roulant. L'invention concerne un comptoir de caisse de sortie en libre-service (106) qui permet à un client (102) de passer par un processus de caisse de sortie en libre-service simplement en plaçant les produits ramassés un par un sur un tapis roulant. Un capteur RVB-D vertical et un autre horizontal (108) montés dans un châssis d'enveloppe fixé vers l'extrémité du tapis roulant capture une image RVB et de profondeur de chaque produit passant à travers l'enveloppe et la soumet à un moteur de reconnaissance de produits (216). Le moteur (216) identifie le produit unique ainsi que ses attributs volumétriques en traitant les données RVB-D qui sont ensuite comparées à une base de données de produits maîtresse et traitées pour la facturation. Le portefeuille et le paiement du client peuvent être intégrés avec le numéro de téléphone du client au comptoir de caisse de sortie en libre-service (106) pour fournir une expérience de caisse de sortie complètement automatisée.