LIVE INVENTORY AND INTERNAL ENVIRONMENTAL SENSING METHOD AND SYSTEM FOR AN OBJECT STORAGE STRUCTURE

• Main Authors: COPENHAVER, Bryce, MARSH, Robert, ANDERSON, John, RUDDY, Travis, O'NEIL, Jenny, LEE, Jaeyoon (jay), KONTOROVICH, Boris, PARKS, Carter, SANBORN, Tyler
• Format: Patent
• Language: English; French
• Published: 17.08.2023
• Subjects: BLASTING; CALCULATING; COLD ROOMS; COMBINED HEATING AND REFRIGERATION SYSTEMS; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COOLING OR FREEZING APPARATUS NOT COVERED BY ANY OTHERSUBCLASS; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; HEAT PUMP SYSTEMS; HEATING; ICE-BOXES; LIGHTING; LIQUEFACTION SOLIDIFICATION OF GASES; MANUFACTURE OR STORAGE OF ICE; MECHANICAL ENGINEERING; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION; REFRIGERATION OR COOLING; REFRIGERATORS; WEAPONS

A Live Inventory System and Process for use with an active object storage structure, such as a refrigerator (11 A, 11 B). The disclosed System and Process includes a method for dynamically identifying an object being placed in or taken out of a refrigerator, the method comprising: detecting a motion of an object at the refrigerator using one or more sensors coupled with the refrigerator or sensing a refrigerator open condition (11 A, 11 B); acquiring one or more images of at least a part of the object as the object is being placed inside the refrigerator or removed from the refrigerator (11 A, 11 B); and using the acquired images, tracking the motion of the object, determining a direction of the motion of the object, and identifying the object using a trained ML (Machine Learning) model, the ML model trained, at least in part, using a crowd-based training method including acquisition of images from other refrigerators (36). L'invention concerne un système et un procédé d'inventaire en direct destinés à être utilisés avec une structure de stockage d'objet actif, telle qu'un réfrigérateur (11A, 11B). Le système et le procédé divulgués comprennent un procédé d'identification dynamique d'un objet placé dans un réfrigérateur ou retiré de celui-ci, le procédé consistant à : détecter un mouvement d'un objet au niveau du réfrigérateur à l'aide d'un ou de plusieurs capteurs couplés au réfrigérateur ou la détection d'un état ouvert de réfrigérateur (11A, 11B) ; acquérir une ou plusieurs images d'au moins une partie de l'objet lorsque l'objet est placé à l'intérieur du réfrigérateur ou retiré du réfrigérateur (11A, 11B) ; et utiliser les images acquises, suivre le mouvement de l'objet, déterminer une direction du mouvement de l'objet, et identifier l'objet à l'aide d'un modèle ML entraîné (apprentissage automatique), le modèle ML étant entraîné, au moins en partie, à l'aide d'un procédé d'entraînement reposant sur la foule comprenant l'acquisition d'images provenant d'autres réfrigérateurs (36).