미세한 입도의 이미지 검색을 위한 적대적 학습

• Main Authors: WANG QIAOSONG, PIRAMUTHU ROBINSON, YANG FAN, LIN KEVIN
• Format: Patent
• Language: Korean
• Published: 03.02.2021
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

미세한 입도의 이미지 검색을 위한 적대적 학습을 사용하기 위한 시스템들, 방법들, 및 컴퓨터 판독가능 매체가 개시된다. 이미지 검색 시스템은 객체를 묘사하는 입력 이미지를 포함하는 검색 쿼리를 수신한다. 검색 시스템은 생성기를 사용하여 정규화된 뷰에서의 객체의 벡터 표현을 생성한다. 생성기는 다수의 뷰들에서의 알려진 객체들의 참조 이미지들의 세트, 및 정규화된 뷰에서의 알려진 객체들의 벡터 표현들을 생성할 때 생성기의 성능을 나타내는 평가기로부터 수신되는 피드백 데이터에 기초하여 훈련되었다. 평가기는 피드백 데이터를 생성하는 판별기 서브-모듈, 정규화기 서브-모듈, 및 시맨틱 내장 서브-모듈을 포함한다. 이미지 검색 시스템은 객체의 벡터 표현에 기초하여 객체를 묘사하는 다른 이미지들의 세트를 식별하고, 검색 쿼리에 응답하여 다른 이미지들 중 적어도 하나를 반환한다. Disclosed are systems, methods, and non-transitory computer-readable media for using adversarial learning for fine-grained image search. An image search system receives a search query that includes an input image depicting an object. The search system generates, using a generator, a vector representation of the object in a normalized view. The generator was trained based on a set of reference images of known objects in multiple views, and feedback data received from an evaluator that indicates performance of the generator at generating vector representations of the known objects in the normalized view. The evaluator including a discriminator sub-module, a normalizer sub-module, and a semantic embedding sub-module that generate the feedback data. The image search system identifies, based on the vector representation of the object, a set of other images depicting the object, and returns at least one of the other images in response to the search query.