REFRIGERATOR SERVER AND METHOD OF CONTROLLING THEREOF

• Main Authors: KIM TAE HOON, POROKHONSKYY VIKTOR, BAIEV OLEKSANDR, VAHIN YEVHEN, KLYMENKO MYKHAILO
• Format: Patent
• Language: English; Korean
• Published: 12.01.2024
• Subjects: BLASTING; CALCULATING; COLD ROOMS; COMBINED HEATING AND REFRIGERATION SYSTEMS; COMPUTING; COOLING OR FREEZING APPARATUS NOT COVERED BY ANY OTHERSUBCLASS; COUNTING; DATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FORADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORYOR FORECASTING PURPOSES; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRIC DIGITAL DATA PROCESSING; ELECTRICITY; HEAT PUMP SYSTEMS; HEATING; ICE-BOXES; LIGHTING; LIQUEFACTION SOLIDIFICATION OF GASES; MANUFACTURE OR STORAGE OF ICE; MECHANICAL ENGINEERING; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION; REFRIGERATION OR COOLING; REFRIGERATORS; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE,COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTINGPURPOSES, NOT OTHERWISE PROVIDED FOR; WEAPONS

식료품을 인식하는 방법이 제공된다. 제공 되는 제어 방법은, 냉장고에서 촬영 된 적어도 하나의 고내 이미지를 획득하는 동작, 기 저장된 비교 대상 이미지와 상기 고내 이미지를 이용하여, 상기 고내 이미지에서 변화가 발생된 변화 영역을 식별하는 동작, 상기 고내 이미지에 변화 영역이 없는 경우에, 상기 기 저장된 비교 대상 이미지의 인식 결과인 제1 보관 식료품 정보를 획득하고, 상기 고내 이미지에 변화 영역이 있는 경우에, 상기 고내 이미지에 포함된 객체를 인식한 결과와 상기 제1 보관 식료품 정보를 이용하여 제2 보관 식료품 정보를 획득하는 동작, 및 상기 고내 이미지 및, 상기 획득된 제1 보관 식료품 정보 또는 상기 제2 보관 식료품 정보를 상기 냉장고에게 전송하는 동작을 포함할 수 있다. 또한, 식료품을 인식하는 방법은, 이미지에서 변화 영역을 식별하거나, 또는 이미지에 포함된 식료품 또는 가공 식품의 카테고리를 인식하는 경우, 규칙 기반 또는 인공 지능 알고리즘을 이용하여 변화 영역을 검출하거나, 식료품 또는 가공 식품의 카테고리를 인식할 수 있다. 인공 지능 알고리즘을 이용하여 변화 영역을 식별하거나, 식료품 또는 가공 식품의 카테고리를 인식하는 경우, 상기 제어 방법은 기계 학습, 신경망 또는 딥러닝 알고리즘을 이용할 수 있다. A server includes a memory storing instructions and a processor configured to execute the instructions to obtain an inside-fridge image captured in a refrigerator by comparing a pre-stored image to the obtained inside-fridge image, identify whether a change area in which a change occurred in the obtained inside-fridge image is present in the obtained inside-fridge image, based on the change area being not present in the obtained inside-fridge image, obtain first food storage information, using a first result of recognizing the pre-stored image, based on the change area being present in the obtained inside-fridge image, obtain second food storage information, using the obtained first food storage information and a second result of recognizing an object included in the obtained inside-fridge image, and transmit, to the refrigerator, the obtained inside-fridge image and either one or both of the obtained first food storage information and the obtained second food storage information.